Le mouvement MCP d’Openai le tente de faire confiance à Genai plus qu’il ne devrait

L’IA générative (Genai) pose un dilemme informatique classique. Quand cela fonctionne bien, il est incroyablement polyvalent et utile, alimentant les rêves qu’il peut faire presque n’importe quoi.
Le problème est que quand il ne fait pas bien, il pourrait fournir de mauvaises réponsesremplacer ses instructions et renforcer à peu près les intrigues de chaque film d’horreur de science-fiction jamais réalisé. C’est pourquoi j’ai été horrifié quand Openai à la fin du mois dernier modifications annoncées Pour faciliter le fait de donner à ses modèles Genai un accès complet à tout logiciel utilisant le protocole de contexte du modèle (MCP).
«Nous ajoutons le support pour Serveurs MCP distants dans l’API des réponses, s’appuyant sur la libération de MCP Support dans les agents SDK», A déclaré la société.« MCP est un protocole ouvert qui standardise comment les applications fournissent un contexte aux LLM. En prenant en charge les serveurs MCP dans l’API des réponses, les développeurs pourront connecter nos modèles aux outils hébergés sur n’importe quel serveur MCP avec seulement quelques lignes de code. »
Il existe un grand nombre d’entreprises qui ont publiquement déclaré qu’elles utiliseraient MCP, y compris celles avec des applications populaires telles que PayPal, Stripe, Shopify, Square, Slack, QuickBooks, Salesforce et Googledrive.
La capacité d’un modèle de grande langue (LLM) Genai de coordonner les données et les actions avec toutes ces applications – et bien d’autres – semble certainement attrayantes. Mais c’est dangereux car il permet d’accéder à des montagnes de données très sensibles à la conformité – et une décision erronée pourrait blesser profondément les clients. MCP permettrait également aux outils Genai de contrôler ces applications, augmentant de façon exponentielle les risques.
Si la technologie d’aujourd’hui ne peut pas encore faire son travail correctement et cohérente, quel niveau d’hallucinogènes est nécessaire pour justifier l’élargissement de son pouvoir à d’autres applications?
Christofer Hoff, le CTO et le CSO à Lastpass, se sont rendus à LinkedIn pour faire appel au bon sens. (OK, si l’on voulait faire appel au bon sens, LinkedIn n’est probablement pas le meilleur endroit pour commencer, mais c’est une autre histoire.)
«J’adore l’enthousiasme», » Hoff a écrit. «Je pense que l’opportunité pour l’automatisation du flux de travail de bout en bout avec une interface standardisée est fantastique vs mutant à propos de la codage rigide. L’absorption.
Rex Booth, le CISO chez le vendeur d’identité Sailpoint, a déclaré que les préoccupations étaient justifiées. « Si vous connectez vos agents à un tas de sources de données très sensibles, vous devez avoir de fortes garanties en place », a-t-il déclaré.
Mais comme l’a noté anthropique, les modèles Genai N’obéissez pas toujours à leurs propres garde-corps.
Le PDG de Querypal Dev Nag voit des problèmes d’inévitables d’utilisation des données.
«Vous devez spécifier quels fichiers (le modèle) est autorisé à examiner et quels fichiers il s’agit pas autorisé à regarder et vous devez être en mesure de spécifier cela « , a déclaré Nag. » Et nous savons déjà que les LLM ne le font pas parfaitement. LLMS Hallucine, font des hypothèses textuelles incorrectes. »
Nag a fait valoir que le risque est – ou du moins devrait être – déjà bien connu des décideurs. « C’est la même chose que le risque de l’API », a déclaré Nag. « Si vous ouvrez votre API à un fournisseur extérieur avec son propre code, cela pourrait faire n’importe quoi. MCP n’est que des API sur les stéroïdes. Je ne pense pas que vous voudriez que l’IA regarde vos principaux finances et puisse changer votre comptabilité. »
La meilleure défense consiste à ne pas faire confiance aux garde-corps de chaque côté de la communication, mais à donner les instructions d’exclusion aux deux côtés. Dans un exemple avec le modèle essayant d’accéder à Google Docs, a déclaré NAG, les instructions doubles sont la seule approche viable.
« Il devrait être appliqué des deux côtés, la couche Google Doc étant informée qu’elle ne peut accepter aucun appel de la LLM », a déclaré Nag. « Du côté LLM, il faut le dire » OK, mes intentions sont de montrer mes documents de travail, mais pas mes documents financiers. « »
Conclusion: le concept d’interactivité MCP est un excellent. La réalité probable à court terme? Pas tellement.