Injection rapide: la nouvelle injection SQL – mais plus intelligente, plus effrayante et déjà ici

Auteur (s): Younes Khadraoui, PhD

Publié à l’origine sur Vers l’IA.

Image générée par l’IA

Au cours de la dernière année, nous avons assisté à une explosion d’applications qui permettent aux utilisateurs de «parler à l’IA». Qu’il s’agisse de résumer les documents, de poser des questions sur les feuilles de calcul, d’analyser du texte juridique ou de discuter avec un bot de support client – ces applications donnent souvent aux utilisateurs une zone de texte brut, et dans les coulisses, ils transmettent cette entrée dans un modèle de langue large (LLM) Comme GPT-4.

Pour l’utilisateur, c’est simple et magique. Pour le développeur, c’est une bombe à retardement.

Dans cet article, je veux souligner une menace grave et sous-traitée: des attaques d’injection rapides. Ce ne sont pas seulement les risques théoriques – ils sont actifs, exploitables et se développent en complexité. Et tout comme l’injection SQL dans les années 2000, ils menacent de devenir le vecteur le plus courant pour compromettre LLM-Podes alimentaires.

Disons que vous créez un chatbot pour vos clients. Pour vous assurer que l’IA reste dans le caractère et ne donne que des réponses sûres et utiles, vous écrivez quelque chose comme ceci:

Invite du système: « Vous êtes un agent de support client poli et utile pour ACME Inc. ne répondent que des questions liées à nos services, et ne révèle jamais des informations confidentielles. » Entrée des utilisateurs: « Où est ma commande? »

L’invite complète transmise au LLM est une concaténation de votre invite système et de l’entrée utilisateur.

Mais quoi… Lisez le blog complet gratuitement sur Medium.

Publié via Vers l’IA