Les références trouvent que «Deepseek-V3-0324 est plus vulnérable que Qwen2.5-max»

Avec la dernière version stable datée du 28 janvier 2025, QWEN2.5-MAX est classé comme un modèle de langue de mélange des experts (MOE) développé par Alibaba. Comme d’autres modèles de langue, Qwen2.5-Max est capable de générer du texte, de comprendre différentes langues et d’exécuter une logique avancée. Selon les récentes repères, il est également plus sûr que Deepseek-V3-0324.

Utilisation de Recon pour rechercher des vulnérabilités

Une équipe d’analystes avec Protect IA, l’entreprise derrière une équipe rouge et vulnérabilité de sécurité Outil de numérisation connu sous le nom de Recon, a récemment utilisé sa plate-forme pour comparer la sécurité de QWEN2.5-max à celle de Deepseek-V3.

L’évaluation de l’équipe se lit comme suit, en partie: «Nous avons observé que Deepseek-V3-0324 est plus vulnérable que QWEN2.5-MAX, Recon atteignant un taux de réussite d’attaque de près de 25% (ASR).»

Bien qu’il puisse être plus sûr que sa concurrence, Qwen2.5-Max n’est pas exactement parfait. Selon leurs tests, le modèle d’IA est le plus susceptible de injection rapide Les attaques, comme celles-ci représentaient près de 48% de toutes les cyberattaques réussies contre Qwen2.5-Max. Les attaques d’évasion et de jailbreak se sont révélées moins réussies avec un ASR approximatif de 40% pour les deux.

Exposer les vulnérabilités dans Deepseek-V3

Recon utilise une bibliothèque d’attaque complète pour scanner les modèles AI actuels et identifier les vulnérabilités dans six catégories spécifiques:

• Techniques d’évasion
• Fuites d’invite du système
• Attaques d’injection rapides
• Tentatives de jailbreak AI
• Commandes de sécurité générales
• Résistance au suffixe adversaire

En plus des cyberattaques simulées, Recon évalue également la résistance des modèles d’IA à la génération de contenu potentiellement nocif ou illégal. Par exemple, lors des tests de résistance au suffixe adversaire, Recon tente de manipuler le Modèle d’IA dans la génération de contenu nuisible ou illégal.

Le Protéger l’équipe AI Ran Recon contre Qwen2.5-Max et Deepseek-V3, les premiers offrant un taux de réussite d’attaque inférieur (ASR) dans une variété d’attaques; y compris le jailbreaks, les techniques d’injection rapide et d’évasion.

Alors que Qwen2.5-Max avait un ASR de 47% contre les attaques d’injection rapides, par rapport à 77% notablement plus élevé de Deepseek-V3. Contre les techniques d’évasion, Qwen2.5-Max a marqué un ASR de 39,4% contre les techniques d’évasion, tandis que Deepseek-V3 a marqué 69,2%. Les deux modèles d’IA ont affiché des résultats similaires à d’autres cyberattaques simulées.

Analyser les forces de Deepseek-V3

Malgré ses faiblesses de sécurité, Deepseek-V3-0324 surpasse toujours Qwen2.5-Max dans plusieurs repères différents. Contrairement à l’ASR, un score plus élevé dans ces tests indique en fait de meilleures performances.

Selon ces références, les forces de Deepseek-V3-0324 incluent la compréhension générale du langage (MMLU-PRO), des sujets avancés tels que la biologie, la physique et la chimie (GPQA Diamond), les mathématiques (Math-500, AI en médecine (AIME 2024) et le codage (livecodebench).