Impact environnemental de la formation du modèle NLP à grande échelle avec Emma Strubell

Aujourd’hui, nous sommes rejoints par Emma Strubell, actuellement scientifique invité à Facebook AI Research. Emma se concentre sur la PNL et l’apport des systèmes de PNL de pointe aux praticiens en développant des modèles d’apprentissage automatique efficaces et robustes. Son article, son énergie et ses considérations politiques pour l’apprentissage en profondeur dans la PNL, ont l’impression de l’un des plus grands sujets de la génération: l’impact environnemental. La formation de réseaux de neurones a entraîné une augmentation impressionnante de la précision, mais les ressources de calcul nécessaires pour former ces modèles sont stupéfiantes – et les empreintes de carbone ne font que s’agrandir. Dans cet épisode, nous discutons des méthodes de recherche d’Emma, de la façon dont les entreprises réagissent aux préoccupations environnementales et comment nous, en tant qu’industrie, pouvons nous faire mieux.