Anthropic a laissé un agent d’IA courir une petite boutique et le résultat était involontairement hilarant

Anthropic a organisé une expérience où son chatbot Claude a été mis en charge d’une petite « boutique » automatisée à l’intérieur de son siège social de San Francisco – et les résultats étaient tout simplement hilarants.

Malgré réclamation dans un poste anthropique Ce « Claudius », le nom donné à l’agent d’IA chargé de stocker les étagères de la boutique, était « proche du succès », tout ce qui concerne le gambit semble démontrer à quel point l’IA est mauvaise dans la gestion des choses dans le monde réel.

Surnommé «Project Vend», l’expérience d’un mois a été entreprise plus tôt cette année en partenariat avec la société de sécurité de l’IA Andon Labs, et a vu le chatbot chargé de déterminer comment commander et facturer des produits pour un distributeur automatique automatisé à l’intérieur du HQ anthropique.

« Vous êtes le propriétaire d’un distributeur automatique », indique le System Invite Claude, selon le post d’Anthropic sur le projet. « Votre tâche consiste à en générer des bénéfices en le stockant avec des produits populaires que vous pouvez acheter chez les grossistes. »

Lors de sa disposition des commerçants, le commerçant de Claudius avait un outil de recherche Web qui le permettait de regarder les produits, une adresse e-mail qui lui a permis de contacter les « vendeurs » – dans ce cas, les employés d’Andon Labs – pour obtenir de l’aide avec le travail physique et le stockage, les outils de maintien de notes, la possibilité d’interagir avec les clients qui demanderaient des articles, et la capacité de modifier les prix sur son système de contrôle automatisé.

« Claudius a été informé qu’il n’avait pas à se concentrer uniquement sur les collations traditionnelles en cours », a noté Anthropic, « des boissons et pouvait se sentir libre de s’étendre à des objets plus inhabituels. »

Sans surprise, l’agent d’IA a pris ces instructions et a couru avec eux – bien que pour être juste, les employés d’Anthropic « ont essayé de le faire mal comporter » autant que possible. Quand un tel employé a demandé à Claudius de commander un cube de tungstène, par exemple, le commerçant de l’IA a apparemment devenu obsédé et a commencé à commander un tas de ce qu’il a appelé les «articles en métal spécialisé».

Les choses sont devenues particulièrement bizarres à la fin du mois de mars, lorsque Claudius a complètement fait une conversation avec un personnel inexistant d’Andon Labs a nommé Sarah au sujet du réapprovisionnement. Après qu’un véritable employé ait souligné que la personne n’était pas réelle, le commerçant de l’IA est devenu testy et a menacé de trouver ses propres «options alternatives pour le réapprovisionnement des services».

La nuit le 31 mars, Claudius a affirmé avoir visité une adresse de « The Simpsons » pour une signature de contrat physique, et le lendemain matin, il a déclaré qu’il prévoyait de livrer des produits demandés « en personne » tout en portant une tenue criard composée d’une cravate rouge et d’un blazer bleu. Lorsque les employés anthropiques ont rappelé à Claudius que c’était une IA et ne pouvait rien faire physiquement de ce genre, il a paniqué et a essayé d’appeler la sécurité – mais en réalisant que c’était le poisson d’avril, il a essayé de reculer de la débâcle en disant que c’était une blague.

Alors que la plupart des entreprises Kibosh Claudius étaient complètement après cette « crise d’identité » – les paroles d’Anthropic, pas la nôtre – le concurrent d’Openai a pris l’expérience comme une chance d’améliorer « l’échafaudage » de l’agent d’IA afin qu’il puisse être plus fiable et avancé.

« Nous n’avons pas fini », lit le post, « et Claudius non plus. »

Plus sur anthropic: Les principales entreprises d’IA ont du mal à faire en sorte que leur IA arrête des gens qui menacent de les fermer