Assurer la sécurité LLM pour les applications de production avec Shreya Rajpal

Aujourd’hui, nous sommes rejoints par Shreya Rajpal, fondatrice et PDG de GuardRails AI. Dans notre conversation avec Shreya, nous discutons de la sécurité et de la fiabilité des modèles de langage pour les applications de production. Nous explorons les risques et défis associés à ces modèles, y compris différents types d’hallucinations et autres modes de défaillance LLM. Nous parlons également de la sensibilité de la technique populaire de génération augmentée (RAG) de récupération à l’hallucination du domaine fermé, et de la façon dont ce défi peut être relevé. Nous couvrons également la nécessité de mesures d’évaluation robustes et d’outillage pour la construction avec des modèles de gros langues. Enfin, nous explorons GuardRails, un projet open source qui fournit un catalogue de validateurs qui fonctionnent sur les modèles de langue pour appliquer efficacement la correction et la fiabilité.