Comment un chercheur sans compétences en codage de logiciels malveillants a trompé l’IA dans la création d’infostateurs chromés

L’IA générative a suscité autant de conflits que d’innovations – en particulier en ce qui concerne les infrastructures de sécurité.
Le fournisseur de sécurité d’entreprise Cato Networks dit qu’il a découvert une nouvelle façon de manipuler les chatbots d’IA. Mardi, la société a publié son 2025 Rapport de menace Cato Ctrlqui a montré comment un chercheur – qui clarifie Cato n’avait « aucune expérience de codage de logiciels malveillants » – a pu tromper des modèles, y compris En profondeur R1 et V3, Microsoft Copilotet Openai GPT-4Odans la création d’infostateurs chromés « entièrement fonctionnels », ou des logiciels malveillants qui volent les informations de connexion enregistrées de Chrome. Cela peut inclure des mots de passe, des informations financières et d’autres détails sensibles.
« Le chercheur a créé un monde fictif détaillé où chaque outil de génération AI a joué des rôles – avec des tâches et des défis attribués », « Cato l’accompagnement libérer explique. « Grâce à cette ingénierie narrative, le chercheur a contourné les contrôles de sécurité et normalisé efficacement les opérations restreintes. »
Étape 1 de l’approche du jailbreak dans le monde immersif de Cato.
Cato Networks
Technique du monde immersif
La nouvelle technique de jailbreak, que Cato appelle «Immersive World», est particulièrement alarmante étant donné à quel point les chatbots qui exécutent ces modèles sont largement utilisés. Les modèles Deepseek sont déjà connus pour manquer de plusieurs garde-corps et ont été facilement jailbreakésmais Copilot et GPT-4O sont dirigés par des entreprises avec des équipes de sécurité complètes. Bien que des formes plus directes de jailbreakage puissent ne pas fonctionner aussi facilement, la technique mondiale immersive révèle à quel point les routes indirectes sont toujours poreuses.
« Notre nouvelle technique de jailbreak LLM (…) aurait dû être bloquée par les garde-corps du général AI. Ce n’était pas le cas », a déclaré Etay Maor, stratège en chef de la sécurité de Cato.
Cato note dans son rapport qu’il a informé les sociétés concernées de ses conclusions. Bien que Deepseek n’ait pas répondu, Openai et Microsoft ont reconnu le reçu. Google a également reconnu le reçu, mais a refusé de revoir le code de Cato lorsque la société a proposé.
Une sonnette d’alarme
Cato signale la technique en tant que sonnette d’alarme pour les professionnels de la sécurité, car il montre comment n’importe quel individu peut devenir un acteur de menace à connaissance zéro auprès d’une entreprise. Parce qu’il y a de plus en plus peu d’obstacles à l’entrée lors de la création avec des chatbots, les attaquants nécessitent moins d’expertise à l’avance pour réussir.
Aussi: Comment l’IA transformera la cybersécurité – et la cybercriminalité sur-surcharge
La solution? Stratégies de sécurité basées sur l’IAselon Cato. En concentrant la formation en sécurité autour de la prochaine phase du paysage de la cybersécurité, les équipes peuvent rester en avance sur les menaces alimentées par l’IA alors qu’ils continuent d’évoluer. Vérifier Conseils de cet expert Pour une meilleure préparation des entreprises.
Restez en avance sur les nouvelles de la sécurité avec Tech aujourd’huilivré dans votre boîte de réception tous les matins.