Repenser la taille du modèle: Train grand, puis comprime avec Joseph Gonzalez

Aujourd’hui, nous sommes rejoints par Joseph Gonzalez, professeur adjoint au département EECS de l’UC Berkeley.

Ce fut une interview très intéressante, car Joseph raconte son temps à CMU sous l’ancien invité Carlos Guestrinoù il était passionné par le retournement des hélicoptères et son expérience en tant que co-fondatrice de Graphlab, acquise par Apple en 2016.

Notre objectif principal dans la conversation est l’article de Joseph « Train grand, puis comprime: Repenser la taille du modèle pour une formation efficace et une inférence des transformateurs », qui explore les stratégies de formation économes en calcul, en fonction de la taille du modèle. Nous discutons des deux principaux problèmes résolus; 1) Comment pouvons-nous parcourir rapidement les variations de l’architecture? Et 2) Si nous agrandissons les modèles, cela améliore-t-il vraiment une efficacité? Nous discutons également des parallèles entre la vision par ordinateur et les tâches PNL, comment il caractérise à la fois « plus grand » et « plus rapide » dans le journal.