Le PDG anthropique admet que nous n’avons aucune idée de comment fonctionne l’IA

Le PDG de l’un des principaux laboratoires d’intelligence artificielle du monde a juste dit la partie calme à haute voix: que personne ne sait vraiment comment fonctionne l’IA.

Dans un essai publié sur son site Web personnelLe PDG d’Anthropic, Dario Amodei, a annoncé son intention de créer une «IRM sur l’IRI» robuste au cours de la prochaine décennie. L’objectif n’est pas seulement de comprendre ce qui fait vibrer la technologie, mais aussi de déclencher tous les dangers imprévus associés à ce qu’il dit reste actuellement sa nature énigmatique.

« Lorsqu’un système d’IA génératif fait quelque chose, comme résumer un document financier, nous n’avons aucune idée, à un niveau spécifique ou précis, pourquoi il fait les choix qu’il fait – pourquoi il choisit certains mots par rapport à d’autres, ou pourquoi il fait parfois une erreur malgré le fait d’être exact », a admis le PDG anthropique.

À première vue, il est surprenant pour les gens en dehors du monde de l’IA d’apprendre que les gens qui construisent ces technologies toujours avancées « ne comprennent pas comment nos propres créations d’IA fonctionnent », a-t-il poursuivi – et toute personne alarmée par cette ignorance est « juste d’être inquiet ».

Mais à un autre niveau, ce n’est peut-être pas; Tous les générateurs d’images et de texte qui ont explosé en popularité au cours des dernières années fonctionnent sous le même principe d’alimentation dans un gigantesque pile de données et laissant les systèmes statistiques l’exploiter pour des modèles qui peuvent être reproduits. Le tout est motivé par des œuvres créatives humaines ingérées, et non des premiers principes de l’intelligence machine.

« Ce manque de compréhension », a écrit Amodei, « est essentiellement sans précédent dans l’histoire de la technologie ».

Dans le récit d’Amodei, cette ignorance sur le fonctionnement de l’IA et sur les risques imprévus qu’il peut poser est un facteur de conduite derrière Anthropic.

Fin 2020, le PDG et sa sœur Daniela ont laissé Openai au milieu des inquiétudes concernant la société de Sam Altman pratiques de sécurité – et en particulier, qu’il mettait de côté ces préoccupations dans la poursuite du profit. Les Amoideis et cinq autres ex-openai-Ers fondé anthropique L’année suivante pour travailler sur la construction d’une IA plus sûre – et une partie de ce travail semble s’être concentrée sur la détermination des écrous et des boulons de la technologie.

Au cours des derniers mois, a écrit Amodei, Anthropic a commencé à se concentrer non seulement sur l’aide à « diriger » l’IA – et sa progéniture à venir et l’intelligence générale artificielle – d’une manière qui profiterait à l’humanité, mais aussi avec la « possibilité aléatoire » que les chercheurs peuvent enfin comprendre l’interprétabilité de l’AI, ou les « fonctionnalités internes » de ces systèmes, « avant que les modèles n’atteignent l’annue annuelle du niveau de pouvoir. ».

« Récemment, (anthropic) a fait une expérience où nous avions une` `équipe rouge  » introduisant délibérément un problème d’alignement dans un modèle (disons, une tendance au modèle à exploiter une échappatoire dans une tâche) et a donné à diverses » équipes bleues « la tâche de comprendre ce qui n’allait pas », a expliqué le PDG. « Plusieurs équipes bleues ont réussi; d’une pertinence particulière ici, certains d’entre eux ont appliqué de manière productive des outils d’interprétation pendant l’enquête. »

Bien qu’il y ait beaucoup plus de travail à faire pour faire évoluer ces «outils», qui n’étaient pas explicitement détaillés dans l’essai d’Amodei, il est toujours fascinant que les gens du plus grand concurrent d’Openai travaillent non seulement à rendre l’IA plus avancée, mais aussi à déterminer pourquoi et comment cela fonctionne.

« L’IA puissante façonnera le destin de l’humanité », a conclu Amodei, « et nous méritons de comprendre nos propres créations avant de transformer radicalement notre économie, nos vies et notre avenir. »

Plus sur Amodei: Le PDG anthropique suggère que l’IA mérite les droits des travailleurs