Voler une partie d’un modèle de langue de production avec Nicholas Carlini

Aujourd’hui, nous sommes rejoints par Nicholas Carlini, chercheur chez Google Deepmind pour discuter de l’apprentissage automatique contradictoire et de la sécurité des modèles, en se concentrant sur son meilleur gagnant de l’ICML en 2024, « Voler une partie d’un modèle de langue de production.  » Nous fouillons dans ce travail, qui a démontré la capacité de voler avec succès la dernière couche de modèles de langage de production, notamment Chatgpt et Palm-2. Nicholas partage le paysage actuel de la recherche sur la sécurité de l’IA dans l’ère des LLM, les implications du vol de modèles, les préoccupations éthiques entourant la confidentialité du modèle, le fonctionnement de l’attaque et l’importance de la couche d’intégration dans les modèles de langage. Nous discutons également des stratégies de correction mise en œuvre par OpenAI et Google, ainsi que les orientations futures dans le domaine de la sécurité de l’IA. De plus, nous couvrons également son autre meilleur papier ICML 2024, «Position: Considérations pour l’apprentissage différentiellement privé avec pré-formation publique à grande échelle», Qui remet en question l’utilisation et la promotion de la confidentialité différentielle en conjonction avec des modèles pré-formés.