Les dernières recherches de Deepmind sur ICLR 2023

Des recherches sur les modèles d’IA qui peuvent généraliser, évoluer et accélérer la science

La semaine prochaine marque le début du 11e Conférence internationale sur les représentations d’apprentissage (ICLR), ayant lieu le 1 à 5 mai à Kigali, Rwanda. Ce sera la première grande conférence d’intelligence artificielle (IA) à être organisée en Afrique et le premier événement en personne depuis le début de la pandémie.

Des chercheurs du monde entier se réuniront pour partager leurs travaux de pointe dans l’apprentissage en profondeur couvrant les domaines de l’IA, des statistiques et des sciences des données, et des applications, notamment la vision à la machine, les jeux et la robotique. Nous sommes fiers de soutenir la conférence en tant que sponsor de diamant et champion de Dei.

Les équipes de DeepMind présentent 23 articles cette année. Voici quelques points forts:

Ouvert des questions sur le chemin de l’AGI

Des progrès récents ont montré des performances incroyables de l’IA dans le texte et l’image, mais davantage de recherches sont nécessaires pour que les systèmes se généralisent entre les domaines et les échelles. Ce sera une étape cruciale sur la voie du développement de l’intelligence générale artificielle (AGI) en tant qu’outil transformateur dans notre vie quotidienne.

Nous présentons une nouvelle approche où les modèles Apprenez en résolvant deux problèmes en un. En formant des modèles pour examiner un problème sous deux perspectives en même temps, ils apprennent à raisonner sur des tâches qui nécessitent de résoudre des problèmes similaires, ce qui est bénéfique pour la généralisation. Nous avons également exploré le capacité des réseaux de neurones à généraliser en les comparant à la hiérarchie Chomsky des langues. En testant rigoureusement 2200 modèles sur 16 tâches différentes, nous avons découvert que certains modèles ont du mal à généraliser et ont constaté que les augmenter avec une mémoire externe est crucial pour améliorer les performances.

Un autre défi que nous relevons est de savoir comment faire des progrès sur des tâches à plus long terme à un niveau d’expertoù les récompenses sont rares. Nous avons développé une nouvelle approche et un ensemble de données de formation open source pour aider les modèles à apprendre à explorer de manière humaine sur de longs horizons.

Approches innovantes

Alors que nous développons des capacités d’IA plus avancées, nous devons nous assurer que les méthodes actuelles fonctionnent comme prévu et efficacement pour le monde réel. Par exemple, bien que les modèles de langue puissent produire des réponses impressionnantes, beaucoup ne peuvent pas expliquer leurs réponses. Nous introduisons un Méthode d’utilisation de modèles de langage pour résoudre les problèmes de raisonnement en plusieurs étapes En exploitant leur structure logique sous-jacente, fournissant des explications qui peuvent être comprises et vérifiées par les humains. D’un autre côté, les attaques contradictoires sont un moyen de sonder les limites des modèles d’IA en les poussant à créer des sorties erronées ou nocives. La formation sur les exemples contradictoires rend les modèles plus robustes aux attaques, mais peut se produire au prix des performances sur les intrants «réguliers». Nous montrons qu’en ajoutant des adaptateurs, nous pouvons créer modèles qui nous permettent de contrôler ce compromis À la volée.

L’apprentissage par renforcement (RL) s’est avéré réussir pour une gamme de Défis du monde réelmais les algorithmes RL sont généralement conçus pour bien faire une tâche et lutter pour généraliser à de nouveaux. Nous proposons distillation algorithmeune méthode qui permet à un modèle unique de généraliser efficacement aux nouvelles tâches en formant un transformateur pour imiter les histoires d’apprentissage des algorithmes RL à travers diverses tâches. Les modèles RL apprennent également par essais et erreurs qui peuvent être très à forte intensité de données et longs. Il a fallu près de 80 milliards de cadres de données pour notre modèle Agent 57 pour atteindre les performances au niveau de l’homme dans 57 jeux Atari. Nous partageons une nouvelle façon de s’entraîner à ce niveau en utilisant 200 fois moins d’expérienceréduisant considérablement les coûts informatiques et énergétiques.

IA pour la science

L’IA est un outil puissant pour les chercheurs pour analyser de grandes quantités de données complexes et comprendre le monde qui nous entoure. Plusieurs articles montrent comment l’IA accélère les progrès scientifiques – et comment la science avance l’IA.

Il est essentiel de prédire les propriétés d’une molécule à partir de sa structure 3D pour la découverte de médicaments. Nous présentons une méthode de débraillé qui atteint une nouvelle pointe de la prédiction des propriétés moléculaires, permet une pré-formation à grande échelle et se généralise dans différents ensembles de données biologiques. Nous introduisons également un nouveau Transformateur qui peut faire des calculs de chimie quantique plus précis Utilisation de données sur les positions atomiques seules.

Enfin, avec Fignetnous nous inspirons de la physique aux collisions de modèle entre des formes complexes, comme une théière ou un beignet. Ce simulateur pourrait avoir des applications à travers la robotique, les graphiques et la conception mécanique.

Voir la liste complète de Papiers DeepMind et calendrier des événements à ICLR 2023.