Le problème avec les agents de l’IA

Le crash flash est probablement l’exemple le plus connu des dangers soulevés par les agents – des systèmes automatisés qui ont le pouvoir de prendre des mesures dans le monde réel, sans surveillance humaine. Ce pouvoir est la source de leur valeur; Les agents qui ont suralimenté le crash flash, par exemple, pourraient échanger beaucoup plus rapidement que n’importe quel humain. Mais c’est aussi pourquoi ils peuvent provoquer autant de méfaits. «Le grand paradoxe des agents est que la chose même qui les rend utiles – qu’ils sont capables d’accomplir une gamme de tâches – engagent le contrôle», explique Iason Gabriel, chercheur principal de Google Deepmind qui se concentre sur l’éthique de l’IA.

«Si nous continuons sur le chemin actuel… nous jouons essentiellement à la roulette russe avec l’humanité.»

Yoshua Bengio, professeur d’informatique, Université de Montréal

Les agents sont déjà partout – et sont depuis de nombreuses décennies. Votre thermostat est un agent: il allume automatiquement le radiateur pour garder votre maison à une température spécifique. Il en va de même pour les logiciels antivirus et les roches. Comme les commerçants à haute fréquence, qui sont programmés pour acheter ou vendre en réponse aux conditions du marché, ces agents sont tous construits pour effectuer des tâches spécifiques en suivant les règles prescrites. Même les agents plus sophistiqués, comme Siri et les voitures autonomes, suivent des règles pré-écrites lors de l’exécution de nombreuses actions.

Mais ces derniers mois, une nouvelle classe d’agents est arrivée sur la scène: celles construites en utilisant de grands modèles de langue. L’opérateur, un agent d’OpenAI, peut naviguer de manière autonome dans un navigateur pour commander des produits d’épicerie ou faire des réservations pour le dîner. Des systèmes comme Claude Code et la fonction de chat du curseur peuvent modifier des bases de code entières avec une seule commande. Manusun agent viral de l’effet de papillon de démarrage chinois, peut créer et déployer des sites Web avec peu de supervision humaine. Toute action qui peut être capturée par texte – en jouant un jeu vidéo en utilisant des commandes écrites pour exécuter un compte de médias sociaux – est potentiellement dans le cadre de ce type de système.

Les agents LLM n’ont pas encore beaucoup de histoires, mais pour entendre les PDG le dire, ils transformeront l’économie et bientôt. Le PDG d’OpenAI, Sam Altman, dit que les agents pourraient «Rejoignez la main-d’œuvre» Cette année, et le PDG de Salesforce, Marc Benioff, fait la promotion de manière agressive Agentforceune plate-forme qui permet aux entreprises d’adapter les agents à leurs propres fins. Le ministère américain de la Défense a récemment signé un contrat avec l’échelle de l’IA pour concevoir et tester des agents militaires.

Les érudits, eux aussi, prennent des agents au sérieux. «Les agents sont la prochaine frontière», explique Dawn Song, professeur de génie électrique et d’informatique à l’Université de Californie à Berkeley. Mais, dit-elle, « Pour que nous bénéficions vraiment de l’IA, de résoudre (l’utiliser) de résoudre des problèmes complexes, nous devons comprendre comment les faire fonctionner en toute sécurité et en toute sécurité. »

C’est un défi de taille. Comme Chatbot LLMS, les agents peuvent être chaotiques et imprévisibles. Dans un avenir proche, un agent ayant accès à votre compte bancaire pourrait vous aider à gérer votre budget, mais il pourrait également dépenser toutes vos économies ou divulguer vos informations à un pirate. Un agent qui gère vos comptes de médias sociaux pourrait atténuer une partie de la corvée de maintenir une présence en ligne, mais elle pourrait également diffuser des mensonges ou des abus de vibration à d’autres utilisateurs.

Yoshua Bengio, professeur d’informatique à l’Université de Montréal et l’un des soi-disant «parrains de l’IA», fait partie des personnes préoccupées par de tels risques. Ce qui l’inquiète le plus, cependant, c’est la possibilité que les LLM pourraient développer leurs propres priorités et intentions – puis agir sur eux, en utilisant leurs capacités réelles. Un LLM piégé dans une fenêtre de chat ne peut pas faire grand-chose sans l’aide humaine. Mais un puissant agent d’IA pourrait potentiellement se reproduire, remplacer les sauvegardes ou s’empêcher d’être fermé. De là, il pourrait faire tout ce qu’il voulait.

Pour l’instant, il n’y a aucun moyen infaillible de garantir que les agents agiront comme leurs promoteurs ont l’intention ou pour empêcher les acteurs malveillants de les abuser. Et bien que des chercheurs comme Bengio travaillent dur pour développer de nouveaux mécanismes de sécurité, ils peuvent ne pas être en mesure de suivre l’expansion rapide des pouvoirs des agents. «Si nous continuons sur la voie actuelle de la construction de systèmes agentiques», dit Bengio, «nous jouons essentiellement à la roulette russe avec l’humanité.»