Les dernières recherches de Deepmind sur les Neirips 2022

Faire progresser les meilleurs modèles de catégorie, les agents de RL calculés et les systèmes d’IA plus transparents, éthiques et équitables

La trente-sixième conférence internationale sur les systèmes de traitement de l’information neuronal (Neirips 2022) se déroule du 28 novembre au 9 décembre 2022, en tant qu’événement hybride, basé à la Nouvelle-Orléans, aux États-Unis.

Neirips est la plus grande conférence mondiale en matière d’intelligence artificielle (AI) et d’apprentissage automatique (ML), et nous sommes fiers de soutenir l’événement en tant que sponsors de diamant, aidant à favoriser l’échange d’avancées de recherche dans la communauté AI et ML.

Des équipes de DeepMind présentent 47 articles, dont 35 collaborations externes dans des panneaux virtuels et des séances d’affiches. Voici une brève introduction à certaines des recherches que nous présentons:

Meilleurs modèles de classe

Les grands modèles (LMS) – les systèmes d’IA génératifs formés sur d’énormes quantités de données – ont entraîné des performances incroyables dans des domaines tels que la langue, le texte, l’audio et la génération d’images. Une partie de leur succès est dû à leur échelle.

Cependant, à Chinchilla, nous avons créé un Modèle de langue des paramètres de 70 milliards qui surpasse de nombreux modèles plus grandsy compris Gopher. Nous avons mis à jour les lois de mise à l’échelle des grands modèles, montrant comment les modèles précédemment formés étaient trop importants pour la quantité de formation effectuée. Ce travail a déjà façonné d’autres modèles qui suivent ces règles mises à jour, créant des modèles plus maigres et meilleurs et ont remporté un Papier de piste principale exceptionnelle Prix ​​à la conférence.

S’appuyant sur chinchilla et nos modèles multimodaux NFNETS et Percepteur, nous présentons également Flamingo, une famille de modèles de langage visuel d’apprentissage à quelques coups. Gestion des images, des vidéos et des données textuelles, Flamingo représente un pont entre les modèles de vision uniquement et de langue uniquement. Un seul modèle de flamants établit une nouvelle état de l’art en apprentissage à quelques coups sur un large éventail de tâches multimodales ouvertes.

Et pourtant, l’échelle et l’architecture ne sont pas les seuls facteurs qui sont importants pour la puissance des modèles basés sur les transformateurs. Les propriétés de données jouent également un rôle important, dont nous discutons dans une présentation sur Propriétés de données qui favorisent l’apprentissage dans le contexte dans les modèles de transformateurs.

Optimisation de l’apprentissage du renforcement

L’apprentissage par renforcement (RL) s’est montré très prometteur car une approche de la création de systèmes d’IA généralisés qui peuvent aborder un large éventail de tâches complexes. Cela a conduit à des percées dans de nombreux domaines allant aux mathématiques, et nous recherchons toujours des moyens de rendre les agents de RL plus intelligents et plus maigres.

Nous introduisons une nouvelle approche qui renforce les capacités de prise de décision des agents RL d’une manière économe en calcul en Élargissant considérablement l’ampleur des informations disponibles pour leur récupération.

Nous présenterons également une approche conceptuellement simple mais générale pour l’exploration axée sur la curiosité dans des environnements visuellement complexes – un agent RL appelé Byol-explore. Il réalise les performances surhumaines tout en étant robuste au bruit et être beaucoup plus simple que les travaux antérieurs.

Avancées algorithmiques

De la compression des données aux simulations en cours pour prédire la météo, les algorithmes sont un élément fondamental de l’informatique moderne. Et donc, les améliorations progressives peuvent avoir un impact énorme lorsqu’ils travaillent à grande échelle, aidant à économiser de l’énergie, du temps et de l’argent.

Nous partageons une méthode radicalement nouvelle et hautement évolutive pour le Configuration automatique des réseaux informatiquesbasé sur le raisonnement algorithmique neuronal, montrant que notre approche très flexible est jusqu’à 490 fois plus rapide que l’état actuel de l’art, tout en satisfaisant la majorité des contraintes d’entrée.

Au cours de la même session, nous présentons également une exploration rigoureuse de la notion théorique précédemment de «l’alignement algorithmique», Mettre en évidence la relation nuancée entre les réseaux de neurones graphiques et la programmation dynamiqueet comment les combiner au mieux pour optimiser les performances hors distribution.

Pionnier de manière responsable

Au cœur de la mission de Deepmind est notre engagement à agir en tant que pionniers responsables dans le domaine de l’IA. Nous nous engageons à développer des systèmes d’IA transparents, éthiques et équitables.

Expliquer et comprendre le comportement des systèmes d’IA complexes est un élément essentiel de la création de systèmes équitables, transparents et précis. Nous offrons un ensemble de desiderata qui capturent ces ambitions et décrivent une façon pratique de les rencontrerqui consiste à former un système d’IA pour construire un modèle causal de lui-même, lui permettant d’expliquer son propre comportement de manière significative.

Pour agir en toute sécurité et éthiquement dans le monde, les agents de l’IA doivent être capables de raisonner de préjudice et d’éviter les actions nuisibles. Nous présenterons des travaux collaboratifs sur une nouvelle mesure statistique appelée dommage contrefactuelet démontrent comment il surmonte les problèmes avec les approches standard pour éviter de poursuivre des politiques nuisibles.

Enfin, nous présentons notre nouvel article qui propose façons de diagnostiquer et d’atténuer les échecs de l’équité du modèle causés par les changements de distributionmontrant à quel point ces problèmes sont importants pour le déploiement de technologies de la ML sûrs dans les milieux de santé.

Voir la gamme complète de nos travaux chez Neirips 2022 ici.