CTIBENCH: Évaluation des LLM

Aujourd’hui, nous sommes rejoints par Nidhi Rastogi, professeur adjoint au Rochester Institute of Technology pour discuter de la cyber-menace Intelligence (CTI), en se concentrant sur son récent projet CTibench – une référence pour l’évaluation des LLM sur les tâches CTI du monde réel. Nidhi explique l’évolution de l’IA dans la cybersécurité, des systèmes basés sur des règles aux LLM qui accélèrent l’analyse en fournissant un contexte critique pour la détection et la défense des menaces. Nous foulons dans les avantages et les défis de l’utilisation des LLM dans CTI, comment des techniques telles que la génération (RAG) (RAG) de la récupération sont essentielles pour maintenir les LLM à jour avec les menaces émergentes, et comment CTibench mesure la capacité des LLMS à effectuer un ensemble de tâches réelles de l’analyste de cybersecurity. Nous déballons le processus de construction de la référence, les tâches qu’il couvre et les principales conclusions de l’analyse comparative de divers LLM. Enfin, Nidhi partage l’importance des références pour exposer les limitations du modèle et les angles morts, les défis de l’analyse comparative à grande échelle et les orientations futures de son laboratoire de recherche AI4SEC, notamment en développement de techniques d’atténuation fiables, en surveillant la « dérive du concept » dans les modèles de détection de menace, en améliorant l’explication de la cybersécurité, et plus encore.