Les modèles linguistiques peuvent-ils être trop grands? Avec Margaret Mitchell, Emily M. Bender

Aujourd’hui, nous sommes rejoints par Emily M. Bender, professeur à l’Université de Washington, et chercheur de l’IA, Margaret Mitchell.

Emily et Meg, ainsi que Timnit Gebru et Angelina McMillan-Major, sont des co-auteurs sur le papier sur les dangers des perroquets stochastiques: les modèles de langue peuvent-ils être trop grands? 🦜. Comme la plupart d’entre vous le savent sans aucun doute maintenant, il y a eu beaucoup de controverse entourant et des retombées de ce document. Dans cette conversation, notre principale priorité était de nous concentrer sur le message du document lui-même. Nous passons un peu de temps à discuter du contexte historique de l’article, puis nous nous tournons vers les objectifs de l’article, en discutant des nombreuses raisons pour lesquelles les ensembles de données et les modèles en constante augmentation ne sont pas nécessairement la direction que nous devrions aller.

Nous explorons le coût de ces ensembles de données de formation, à la fois littéraux et environnementaux, ainsi que les implications biaisées de ces modèles, et bien sûr le débat perpétuel sur la responsabilité lors de la création et du déploiement des systèmes ML. Enfin, nous discutons de la ligne mince entre le battage médiatique d’IA et les systèmes d’IA utiles, et l’importance de faire des pré-mortems pour vraiment étoffer tous les problèmes que vous pourriez potentiellement rencontrer avant la construction de modèles, et bien plus encore.