Lorsque AIS négocie, un agent moins avancé pourrait vous coûter

Cette étude fait partie d’un ensemble croissant de recherches avertissant les risques de déploiement d’agents d’IA dans la prise de décision financière du monde réel. Plus tôt ce mois-ci, un groupe de chercheurs de plusieurs universités a soutenu que Les agents LLM doivent être évalués principalement sur la base de leurs profils de risque, et pas seulement leurs performances de pointe. Les repères actuels, disent-ils, mettent l’accent sur la précision et les mesures basées sur le retour, qui mesurent la façon dont un agent peut fonctionner à son meilleur, mais ignorez à quel point il peut échouer en toute sécurité. Leurs recherches ont également révélé que même les modèles les plus performants sont plus susceptibles de se décomposer dans des conditions contradictoires.

L’équipe suggère que dans le contexte des finances du monde réel, une minuscule faiblesse – même un taux de défaillance de 1% – pourrait exposer le système à des risques systémiques. Ils recommandent que les agents de l’IA soient «testés au stress» avant d’être mis en service.

Hancheng Cao, professeur adjoint entrant à l’Université Emory, note que l’étude de négociation des prix a des limites. «Les expériences ont été menées dans des environnements simulés qui peuvent ne pas saisir pleinement la complexité des négociations du monde réel ou du comportement des utilisateurs», explique Cao.

PEI, le chercheur, affirme que les chercheurs et les praticiens de l’industrie expérimentent une variété de stratégies pour réduire ces risques. Il s’agit notamment de raffiner les invites données aux agents de l’IA, de permettre aux agents d’utiliser des outils ou du code externes pour prendre de meilleures décisions, la coordination de plusieurs modèles pour se retirer les uns des autres et des modèles affinés sur les données financières spécifiques au domaine, ce qui s’est révélé prometteur dans l’amélioration des performances.

De nombreux outils d’achat de l’IA proéminents sont actuellement limités à la recommandation de produits. En avril, par exemple, Amazon lancé «Acheter pour moi», Un agent d’IA qui aide les clients à trouver et à acheter des produits sur les sites d’autres marques si Amazon ne les vend pas directement.

Bien que la négociation des prix soit rare dans le commerce électronique des consommateurs, il est plus courant dans les transactions commerciales à entreprise. Alibaba.com a déployé un assistant d’approvisionnement appelé Accio, construit sur ses modèles QWEN open source, qui aide les entreprises à trouver des fournisseurs et des produits de recherche. L’entreprise a dit Revue de la technologie du MIT Il n’a pas l’intention d’automatiser la négociation des prix jusqu’à présent, citant un risque élevé.

Cela peut être une décision sage. Pour l’instant, PEI conseille aux consommateurs de traiter les assistants commerciaux de l’IA comme des outils utiles – pas des stand-ins pour les humains dans la prise de décision.

«Je ne pense pas que nous soyons pleinement prêts à déléguer nos décisions aux agents commerciaux de l’IA», dit-il. « Alors peut-être que l’utilisez comme un outil d’information, pas un négociateur. »

Correction: nous avons supprimé une ligne sur le déploiement des agents