Meta Unveils Llama 4 Série AI avec une nouvelle architecture basée sur l’expert

Meta a dévoilé le 5 avril sa nouvelle série de modèles AI: Llama 4, qui comprend respectivement Llama 4 Maverick et Llama 4, adapté à la conversation et à la traitement des fichiers volumineux, ainsi qu’un modèle «professeur» inédit appelé Llama 4 Behemoth.

Lama 4 est la première série de Meta à adopter une «architecture de mélange d’experts (MOE)». Cette approche active uniquement certaines parties du réseau neuronal, appelées «experts», pour gérer des sous-tâches spécifiques. La tâche sera décomposée en sous-tâches et chacune a acheminé vers les experts les plus appropriés, améliorant l’efficacité des ressources.

Quels sont les détails de Llama 4 Maverick et Scout?

Llama 4 Maverick présente 128 experts et 17 milliards de paramètres actifs, qui représentent la partie des connaissances d’un modèle utilisées pour traiter une entrée donnée. Meta le décrit comme le «modèle de travail de travail produit pour les cas d’assistant général et d’utilisation du chat», spécialisé dans l’interprétation d’images et l’écriture créative.

Fait intéressant, la société de Mark Zuckerberg se vante que Maverick propose «un ratio de performances et de coûts des meilleures» en ce qui concerne les conversations. Le coût joue dans l’esprit des géants de l’IA depuis la surprise Sortie de Deepseek en janvierqui n’a pris que 5,6 millions de dollars pour s’entraîner.

VOIR: L’offre de 800 millions de dollars de méta à la startup de puce a été rejetée – voici pourquoi

Cependant, les experts de l’IA ont remarqué que la version de Llama 4 Maverick publiée sur Lmarena, qui classe les grands modèles de grande langue dans diverses tâches, est «Optimisé pour la conversationalité » et fonctionne différemment de la version accessible au public. Cela suggère que Meta a soumis une version modifiée à Lmarena qui se classerait plus haut dans son classement.

LLAMA 4 Scout compte également 17 milliards de paramètres actifs et seulement 16 experts, mais Meta dit que c’est le «meilleur modèle multimodal du monde de sa classe». Il a une fenêtre de contexte inhabituellement grande de 10 millions de jetons, qui représentent la quantité d’informations qu’il peut traiter dans une invite, il fonctionne donc bien lors de la résumé de grands documents et dans un raisonnement séquentiel.

Meta dit que Scout et Maverick sont son «meilleur à ce jour en raison de la distillation du géant de Llama 4, avec 28 milliards de paramètres actifs et 16 experts. Bien qu’il se classe déjà très bien sur Lmarena, il est toujours en cours de formation et n’a pas été libéré. Selon Les informationsl’annonce de Llama 4 a été retardée au moins deux fois en raison des modèles sous-performants dans les références techniques et la conversation.

Comment pouvez-vous accéder à Llama 4 Maverick and Scout?

Scout et Maverick peuvent être téléchargés sur llama.com et étreignant le visage, ou utilisés via les chatbots Meta AI dans WhatsApp, Messenger et Instagram dans 40 pays. Les fonctionnalités multimodales ne peuvent être utilisées qu’aux États-Unis et en anglais, actuellement.

Certains partenaires ont déjà annoncé des intégrations; Les développeurs peuvent créer et déployer des applications AI avec les modèles LLAMA 4 dans la fonderie Azure AI de Microsoft et Azure Databricks.

Lama 4 est apolitique

Meta a déclaré avoir travaillé spécifiquement pour «supprimer les biais» des modèles LLAMA 4. Le taux de refus des questions sur les «sujets politiques et sociaux débattus» est supérieur à 5% inférieur à celui de LLAMA 3.3 et, parmi les questions qu’elle refuse, ses réponses sont décrites comme «radicalement plus équilibrées».

L’équipe du président américain Donald Trump a exprimé le scepticisme quant à la neutralité des modèles d’IA, avec son IA et sa crypto tsar David Sacks suggérant que le chatpt d’Openai est «programmé pour être réveillé«Sur un podcast. Les experts de l’IA disent que le biais final final découle des données de formation et peut conduire à penchants politiques Dans n’importe quelle direction, pas seulement à gauche.

Néanmoins, l’entreprise de Zuckerberg a effectué un certain nombre de mouvements récents qui suggèrent qu’il veut rester du côté de l’administration américaine. Le stratège républicain Joel Kaplan a été embauché comme leader de la politique de Meta peu de temps après que Trump ait pris ses fonctions; Il considère la réglementation des médias sociaux comme un Défi direct à la liberté d’expression.

En janvier, Meta a révélé que la société interrompait son Programme de vérification des faits tiers et délocaliser ses équipes de modération de contenu de la Californie au Texas pour «aider à supprimer la préoccupation que les employés biaisés censurent trop de contenu». Meta a également éliminé son Diversité, capitaux propres et inclusion Les initiatives après Trump ont critiqué ces programmes.

En outre, Meta a déclaré que les modèles Llama 4 réagissent avec un «fort maigre politique» sur des sujets «controversés» à un rythme similaire à Grok, le chatbot produit par Xai, une entreprise appartenant à Le conseiller actuel de la Maison Blanche Elon Musk.

Llama 4 ne peut pas être utilisé dans l’UE

Selon le Llama 4 Politique d’utilisation acceptableles individus «domiciliés» ou les entreprises ayant un «principal lieu d’affaires» dans l’Union européenne ne peuvent pas utiliser ou distribuer les modèles. Ces individus ou entreprises peuvent cependant utiliser les modèles LLAMA 4 s’ils sont intégrés dans un produit ou un service auquel ils ont accès dans la région.

Ceci est probablement le résultat des problèmes de méta avec la législation de l’UE, en particulier quand il s’agit de l’IA. En juin 2024, Meta a retardé la formation de son Modèles de grande langue Sur le contenu public partagé sur Facebook et Instagram après l’UE, les régulateurs ont suggéré qu’il pourrait nécessiter un consentement explicite des propriétaires de contenu. Meta Ai n’a toujours pas été publiée dans le bloc.

VOIR: Meta propose des annonces moins personnalisées pour les utilisateurs de l’UE

Meta a signé une lettre ouverte exhortant les régulateurs européens Pour répondre à la «prise de décision réglementaire incohérente» et à des demandes de conformité imprévisibles en septembre dernier. Puis, en février, Meta a déclaré que c’était prêt à intensifier ses préoccupations sur ce que la société considère comme une réglementation injuste de l’UE directement à Trump.

Il y a d’autres restrictions en ce qui concerne l’utilisation de Llama 4, en tant qu’entités commerciales avec plus de 700 millions d’utilisateurs actifs mensuels Doit demander l’autorisation de Meta avant d’utiliser ses modèles. L’initiative open source a déclaré qu’une telle restriction retire l’IA «de la catégorie de»open source», Malgré la méta qui réclame le contraire.