Les comportements émergents dans les LLM sont-ils une illusion? avec Sanmi Koyejo

Aujourd’hui, nous sommes rejoints par Sanmi Koyejo, professeur adjoint à l’Université de Stanford, pour poursuivre notre série Neirips 2024. Dans notre conversation, Sanmi discute de ses deux récents journaux primés. Premièrement, nous plongeons dans son article, «Les capacités émergentes des modèles de grande langue un mirage?». Nous discutons des différentes façons dont les LLM sont évaluées et l’excitation entourant leurs «capacités émergentes» telles que la capacité d’effectuer l’arithmétique Sanmi décrit comment l’évaluation des performances du modèle à l’aide de mesures non linéaires peut conduire à l’illusion que le modèle acquiert rapidement la signification de l’émergence. Nous continuons à son prochain article, «DecodingTrust: une évaluation complète de la fiabilité dans les modèles GPT», discutant de la méthodologie qu’elle décrit pour évaluer des préoccupations telles que la toxicité, la vie privée, l’équité et la robustesse des LLM.