Deep Learning, Transformers et les conséquences de l’échelle avec Oriol Vinyals

Aujourd’hui, nous sommes ravis de lancer nos Neirips annuels, rejoints par Oriol Vinyals, la tête de l’équipe d’apprentissage en profondeur de DeepMind. Nous couvrons beaucoup de terrain dans notre conversation avec Oriol, en commençant par un regard sur son programme de recherche et pourquoi la portée est restée large même à travers la maturité du domaine, ses réflexions sur les modèles de transformateurs et si elles nous mettent au-delà de l’état actuel de DL, ou si une autre architecture de modèle était plus avantageuse. Nous abordons également ses réflexions sur l’engouement des modèles de grande langue, avant de sauter dans son article récent Starcraft II Unplugged: Apprentissage de renforcement hors ligne à grande échelleun suivi de leur travail alphastar populaire il y a quelques années. Enfin, nous discutons du degré auquel le travail que DeepMind et d’autres font autour des jeux se traduisent en fait par des scénarios sans jeu réels, des travaux récents sur l’apprentissage multimodal à quelques coups, et nous terminons par une discussion sur les conséquences du niveau d’échelle que nous avons atteint jusqu’à présent.