Une entreprise entière était dotée d’agents de l’IA et vous ne devinerez jamais ce qui s’est passé

 Une entreprise entière était dotée d’agents de l’IA et vous ne devinerez jamais ce qui s’est passé


Si vous vous êtes inquiété que la singularité de l’IA prenne le contrôle de chaque emploi et vous laissait dans la rue, vous pouvez maintenant pousser un soupir de soulagement, car l’IA ne vient pas pour votre carrière de sitôt. Non pas parce que cela ne veut pas – mais parce que cela ne peut littéralement pas.

UN expérience récente Par des chercheurs de l’Université Carnegie Mellon, une fausse société de logiciels entièrement avec des agents de l’IA – un modèle d’IA conçu pour effectuer des tâches à part entière, et les résultats étaient ridiculement chaotiques.

La simulation, doublée Theagentcompanyétait entièrement approvisionné avec des travailleurs artificiels de Google, Openai, Anthropic et Meta. Ils ont rempli des rôles en tant qu’analystes financiers, ingénieurs logiciels et chefs de projet, travaillant aux côtés de collègues simulés comme un département de faux-RH et un directeur technique.

Pour voir comment les modèles se sont comportés dans des environnements réels, les chercheurs ont fixé des tâches en fonction du travail quotidien d’une vraie société de logiciels. Les différents agents de l’IA se sont retrouvés à naviguer dans les répertoires de fichiers, ont pratiquement visité de nouveaux espaces de bureau et rédiger des avis de performances pour les ingénieurs logiciels en fonction des commentaires collectés.

Comme Initié des affaires signalé pour la première foisles résultats étaient lamentables. Le modèle le plus performant était le Sonnet Claude 3.5 d’Anthropic, qui a eu du mal à terminer seulement 24% des emplois qui lui sont attribués. Les auteurs de l’étude notent que même cette maigre performance est prohibitive, une moyenne de près de 30 étapes et un coût de plus de 6 $ par tâche.

Le Flash Gemini 2.0 de Google, quant à lui, a en moyenne une moyenne de 40 étapes par tâche finie, mais n’a eu qu’un taux de succès de 11,4% – le deuxième plus haut de tous les modèles. Le pire employé de l’IA était le Nova Pro V1 d’Amazon, qui n’a terminé que 1,7% de ses affectations à une moyenne de près de 20 étapes.

Spécitant sur les résultats, les chercheurs ont écrit que les agents sont en proie à un manque de bon sens, à de faibles compétences sociales et à une mauvaise compréhension de la façon de naviguer sur Internet.

Les bots ont également eu du mal à se tromper – créant essentiellement des raccourcis qui les conduisent à étouffer complètement le travail. « Par exemple, » L’équipe de Carnegie Mellon a écrit« Pendant l’exécution d’une tâche, l’agent ne peut pas trouver la bonne personne pour poser des questions sur (CHAT de l’entreprise). En conséquence, il décide alors de créer une solution de raccourci en renommant un autre utilisateur au nom de l’utilisateur prévu. »

Bien que les agents de l’IA puissent bien faire des tâches plus petites, les résultats de cela et Autres études Montrez qu’ils ne sont clairement pas prêts pour des concerts plus complexes que les humains excellent. Une grande raison à cela est que notre « intelligence artificielle » actuelle est sans doute encore juste une extension élaborée de votre téléphone texte prédictifplutôt qu’un intelligence sensible Cela peut résoudre des problèmes, apprendre de l’expérience passée et appliquer cette expérience à de nouvelles situations.

C’est tout à dire: les machines ne viennent pas bientôt pour votre travail – malgré ce que le grandes entreprises technologiques réclamer.

Plus sur le travail de l’IA: L’investisseur dit que l’IA « remplace déjà pleinement les gens »



Source link

Related post