Au-delà de la précision: test comportemental des modèles PNL avec Sameer Singh

Aujourd’hui, nous sommes rejoints par Sameer Singh, professeur adjoint au Département d’informatique de l’UC Irvine.

Le travail de Sameer se concentre sur l’apprentissage automatique à grande échelle et interprétable appliqué à l’extraction des informations et au traitement du langage naturel. Nous avons rattrapé Sameer juste après avoir reçu le prix du meilleur papier à ACL 2020 pour son travail sur Beyond Exactitude: tests de comportement des modèles PNL avec la liste de contrôle. Dans notre conversation, nous explorons les listes de contrôle, la méthodologie agnostique des tâches pour tester les modèles NLP introduits dans l’article. Nous discutons également de la façon dont nous comprenons la cause des pièges ou des modes de défaillance dans les modèles d’apprentissage en profondeur, les pensées de Sameer sur l’IA incarnée, et son travail sur le désormais célèbre papier de citron vert, qu’il a co-écrit aux côtés de Carlos Guestrin.