Ces protocoles aideront les agents de l’IA à naviguer dans nos vies désordonnées

Que devraient dire ces protocoles sur la sécurité?

Les chercheurs et les développeurs ne comprennent toujours pas vraiment le fonctionnement des modèles d’IA, et de nouvelles vulnérabilités sont découvertes tout le temps. Pour les applications d’IA de style chatbot, les attaques malveillantes peuvent faire en sorte que les modèles fassent toutes sortes de mauvaises choses, y compris la régurgitation de données de formation et les insultes. Mais pour les agents de l’IA, qui interagissent avec le monde au nom de quelqu’un, les possibilités sont beaucoup plus risquées.

Par exemple, un agent d’IA, conçu pour lire et envoyer des e-mails pour quelqu’un, a déjà été indiqué être vulnérable à ce que l’on appelle une attaque d’injection rapide indirecte. Essentiellement, un e-mail pourrait être écrit d’une manière qui détournement Le modèle AI et le fait dysonner. Ensuite, si cet agent a accès aux fichiers de l’utilisateur, il pourrait être chargé d’envoyer des documents privés à l’attaquant.

Certains chercheurs pensent que des protocoles comme MCP devraient empêcher les agents de réaliser des actions nuisibles comme celle-ci. Cependant, ce n’est pas pour le moment. «Fondamentalement, il n’a aucune conception de sécurité», explique Zhaorun Chen, un doctorant de l’Université de Chicago qui travaille sur la sécurité des agents d’IA et utilise des serveurs MCP.

Bruce Schneier, chercheur et activiste en matière de sécurité, est sceptique quant à ce que des protocoles comme MCP puissent faire beaucoup pour réduire les risques inhérents qui viennent avec l’IA et craint que donner à une telle technologie plus de pouvoir lui donne plus de capacité à nuire dans le monde réel et physique. «Nous n’avons tout simplement pas de bonnes réponses sur la façon de sécuriser ce genre de choses», explique Schneier. «Ce sera un puisard de sécurité très rapidement.»

D’autres ont plus d’espoir. La conception de la sécurité pourrait être ajoutée à MCP et A2A similaire à la façon dont il est pour les protocoles Internet comme les HTTP (bien que la nature des attaques sur les systèmes d’IA soit très différente). Et Chen et Anthropic croient que la normalisation des protocoles comme MCP et A2A peut faciliter la prise et la résolution des problèmes de sécurité. Chen utilise MCP dans ses recherches pour tester les rôles que différents programmes peuvent jouer dans les attaques pour mieux comprendre les vulnérabilités. Chu at Anthropic estime que ces outils pourraient permettre aux entreprises de cybersécurité de gérer plus facilement les attaques contre les agents, car il sera plus facile de déballer qui a envoyé quoi.

Dans quelle mesure ces protocoles devraient-ils être ouverts?

Bien que MCP et A2A soient deux des protocoles d’agent les plus populaires disponibles aujourd’hui, il y en a beaucoup d’autres en cours. Les grandes entreprises aiment Cisco et Ibm travaillent sur leurs propres protocoles, et d’autres groupes ont présenté différents conceptions comme Agoraconçu par des chercheurs de l’Université d’Oxford, qui améliore une communication d’agent-service du langage humain aux données structurées en temps réel.

De nombreux développeurs espèrent qu’il pourrait éventuellement y avoir un registre de systèmes sûrs et de confiance pour naviguer dans la prolifération des agents et des outils. D’autres, y compris Chen, veulent que les utilisateurs puissent évaluer différents services dans quelque chose comme un Yelp pour les outils d’agent AI. Certains protocoles supplémentaires de niche ont même construit des blockchains au-dessus de MCP et A2A afin que les serveurs puissent montrer qu’ils ne sont pas seulement le spam.