L’étude Salesforce met en garde contre les LLMs à précipiter dans les flux de travail CRM sans garde-corps

Dirigé par Kung-Hsiang Huang et publié sur Arxiv, le Crmarena-pro La recherche remet en question l’optimisme de l’industrie autour de la préparation de l’IA pour l’entreprise CRM. En utilisant la référence CRMarena-Pro, qui simule les scénarios B2B et B2C réalistes construits sur les schémas Salesforce, l’étude a révélé que les agents se comportaient assez bien sur les workflows structurés (succès de 83%), mais ont vacillé sur des tâches nécessitant un raisonnement contextuel ou une protection des données.

Selon l’étude, cela indique un problème plus large. Les agents LLM manquent encore de conscience intégrée des protocoles de confidentialité. Les résultats font écho à la prudence croissante des entreprises. «Le risque réel réside dans le déploiement de modèles open-source ou légèrement gouvernés sans garanties», a averti Manish Ranjan, directeur de recherche chez IDC EMEA. «Les entreprises devraient se concentrer moins sur les déploiements à usage général et plus sur l’intégration des LLM dans des architectures sécurisées et conscientes.»

La méthodologie révèle des faiblesses critiques dans la conception des agents d’IA

L’étude a utilisé la référence CRMarena-Pro pour simuler des environnements d’entreprise réalistes avec des données synthétiques modélisées sur Salesforce Service Cloud, Sales Cloud et CPQ. Les chercheurs ont généré des ensembles de données contenant 29 101 enregistrements pour les scénarios B2B et 54 569 pour les contextes B2C, incorporant 21 variables latentes pour reproduire la complexité commerciale du monde réel.