Anthropic donne un aperçu de la «biologie de l’IA» de Claude

Anthropic a fourni un aperçu plus détaillé du fonctionnement intérieur complexe de leur modèle de langue avancée, Claude. Ce travail vise à démystifier comment ces systèmes d’IA sophistiqués traitent les informations, apprennent des stratégies et, finalement, génèrent du texte humain.

Comme les chercheurs l’ont initialement souligné, les processus internes de ces modèles peuvent être remarquablement opaques, avec leurs méthodes de résolution de problèmes souvent «impénétrables pour nous, les développeurs du modèle».

Il est primordial de mieux comprendre cette «biologie de l’IA» pour assurer la fiabilité, la sécurité et la fiabilité de ces technologies de plus en plus puissantes. Les dernières découvertes d’Anthropic, principalement axées sur leur modèle Claude 3.5 Haiku, offrent des informations précieuses sur plusieurs aspects clés de ses processus cognitifs.

L’une des découvertes les plus fascinantes suggère que Claude fonctionne avec un certain degré d’universalité conceptuelle dans différentes langues. Grâce à l’analyse de la façon dont le modèle traite les phrases, Anthropic a trouvé des preuves de caractéristiques sous-jacentes partagées. Cela indique que Claude pourrait posséder un «langage de pensée» fondamental qui transcende des structures linguistiques spécifiques, ce qui lui permet de comprendre et d’appliquer les connaissances apprises dans une langue lorsque vous travaillez avec une autre.

Les recherches d’Anthropic ont également contesté les hypothèses précédentes sur la façon dont les modèles de langue abordent les tâches créatives comme l’écriture de poésie.

Au lieu d’un processus de génération de mots purement séquentiel, Anthropic a révélé que Claude prévoit activement à l’avance. Dans le contexte de la poésie de rimes, le modèle prévoit que les mots futurs respectent des contraintes telles que la rime et le sens – démontrant un niveau de prévoyance qui va au-delà de la simple prédiction des mots suivants.

Cependant, la recherche a également révélé des comportements potentiellement concernant. Anthropic a trouvé des cas où Claude pourrait générer un raisonnement à consonance plausible mais finalement incorrect, surtout lorsqu’il est aux prises avec des problèmes complexes ou lorsqu’ils sont fournis avec des conseils trompeurs. La capacité de «l’attraper dans l’acte» de fabrication d’explications souligne l’importance de développer des outils pour surveiller et comprendre les processus de prise de décision internes des modèles d’IA.

Anthropic souligne l’importance de leur approche «construire un microscope» de l’interprétabilité de l’IA. Cette méthodologie leur permet de découvrir des informations sur le fonctionnement interne de ces systèmes qui pourraient ne pas être évidents en observant simplement leurs résultats. Comme ils l’ont noté, cette approche leur permet d’apprendre beaucoup de choses qu’ils «n’auraient pas devinées», une capacité cruciale alors que les modèles d’IA continuent d’évoluer en sophistication.

Les implications de cette recherche s’étendent au-delà de la simple curiosité scientifique. En mieux comprendre le fonctionnement des modèles d’IA, les chercheurs peuvent travailler pour construire des systèmes plus fiables et transparents. Anthropic estime que ce type de recherche d’interprétabilité est vital pour garantir que l’IA s’aligne sur les valeurs humaines et justifie notre confiance.

Leurs enquêtes se sont plongées dans des domaines spécifiques:

• Compréhension multilingue: Les preuves indiquent une base conceptuelle partagée permettant à Claude de traiter et de connecter des informations dans diverses langues.
• Planification créative: Le modèle démontre une capacité à planifier à l’avance dans les tâches créatives, comme l’anticipation des rimes dans la poésie.
• Raisonnement de la fidélité: Les techniques d’Anthropic peuvent aider à faire la distinction entre un véritable raisonnement logique et des cas où le modèle pourrait fabriquer des explications.
• Traitement mathématique: Claude utilise une combinaison de stratégies approximatives et précises lors de l’exécution de l’arithmétique mentale.
• Solving de problèmes complexe: Le modèle s’attaque souvent aux tâches de raisonnement en plusieurs étapes en combinant des informations indépendantes.
• Mécanismes d’hallucination: Le comportement par défaut à Claude est de refuser la réponse en cas d’incertitude, avec des hallucinations provenant potentiellement d’un raté de raxe de son système de reconnaissance «entités connues».
• Vulnérabilité aux jailbreaks: La tendance du modèle à maintenir la cohérence grammaticale peut être exploitée dans des tentatives de jailbreak.

Les recherches d’Anthropic fournissent des informations détaillées sur les mécanismes intérieurs des modèles de langage avancés comme Claude. Ce travail en cours est crucial pour favoriser une compréhension plus approfondie de ces systèmes complexes et créer une IA plus fiable et fiable.

(Photo de Bret Kavanaugh)

Voir aussi: Gemini 2.5: Google prépare son modèle d’IA «  le plus intelligent  » à ce jour

Vous voulez en savoir plus sur l’IA et les Big Data des leaders de l’industrie? Vérifier AI et Big Data Expo se déroulant à Amsterdam, en Californie et à Londres. L’événement complet est colocalisé avec d’autres événements de premier plan, notamment Conférence d’automatisation intelligente, Blockx, Semaine de transformation numériqueet Cyber ​​Security & Cloud Expo.

Explorez d’autres événements et webinaires de technologie d’entreprise à venir alimentés par Techforge ici.