Muzero, Alphazero et Alphadev: Optimisation des systèmes informatiques

Dans le cadre de notre objectif de construire des systèmes d’intelligence artificielle (IA) de plus en plus capables et généraux, nous travaillons à créer des outils d’IA avec une compréhension plus large du monde. Cela peut permettre de transférer des connaissances utiles entre de nombreux types de tâches différents.

En utilisant l’apprentissage par renforcement, nos systèmes d’IA Alphazero et Muzero ont réalisé des performances surhumaines en jouant à des jeux. Depuis lors, nous avons élargi leurs capacités pour aider à concevoir de meilleures puces informatiques, ainsi que l’optimisation des centres de données et de la compression vidéo. Et notre version spécialisée d’Alphazero, appelée Alphadev, a également découvert de nouveaux algorithmes pour accélérer les logiciels aux fondements de notre société numérique.

Les premiers résultats ont montré le potentiel transformateur des outils d’IA à usage général plus généraux. Ici, nous expliquons comment ces avancées façonnent l’avenir de l’informatique – et aident déjà des milliards de personnes et la planète.

Concevoir de meilleures puces informatiques

Le matériel spécialisé est essentiel pour s’assurer que les systèmes d’IA d’aujourd’hui sont économes en ressources pour les utilisateurs à grande échelle. Mais la conception et la production de nouvelles puces informatiques peuvent prendre des années de travail.

Nos chercheurs ont développé une approche basée sur l’IA pour concevoir des circuits plus puissants et plus efficaces. En traitant un circuit comme un réseau neuronal, nous avons trouvé un moyen d’accélérer la conception des puces et de faire des performances à de nouveaux sommets.

Les réseaux de neurones sont souvent conçus pour prendre les entrées des utilisateurs et générer des sorties, comme les images, le texte ou la vidéo. À l’intérieur du réseau neuronal, les bords se connectent aux nœuds d’une structure de type graphique.

Pour créer une conception de circuits, notre équipe a proposé des réseaux de neurones de circuit, un nouveau type de réseau neuronal qui transforme les bords en fils et nœuds en portes logiques et apprend à les connecter ensemble.

Nous avons optimisé le circuit appris pour la vitesse de calcul, l’efficacité énergétique et la taille, tout en maintenant sa fonctionnalité. À l’aide de «recuit simulé», une technique de recherche classique qui ressemble à un pas dans le futur, nous avons également testé différentes options pour trouver sa configuration optimale.

Avec cette technique, nous avons gagné le Concours de programmation IWLS 2023 – Avec la meilleure solution sur 82% des problèmes de conception de circuits dans la compétition.

Notre équipe a également utilisé Alphazero, qui peut chercher de nombreuses étapes dans le futur, pour améliorer la conception du circuit en traitant le défi comme un jeu à résoudre.

Jusqu’à présent, nos recherches combinant les réseaux de neurones du circuit avec la fonction de récompense de l’apprentissage par renforcement ont montré des résultats très prometteurs pour la construction de puces informatiques encore plus avancées.

Optimisation des ressources du centre de données

Les centres de données gèrent tout, de la livraison des résultats de recherche au traitement des ensembles de données. Comme un jeu de tétris multidimensionnel, un système appelé Borg gère et optimise les charges de travail dans les vastes centres de données de Google.

Pour planifier les tâches, Borg s’appuie sur des règles codées manuellement. Mais à l’échelle de Google, les règles codées manuellement ne peuvent pas couvrir la variété des distributions de charge de travail en constante évolution. Ils sont donc conçus comme une taille unique pour s’adapter au mieux à tous.

C’est là que les technologies d’apprentissage automatique comme Alphazero sont particulièrement utiles: elles sont capables de travailler à grande échelle, créant automatiquement des règles individuelles qui sont adaptées de manière optimale pour les différentes distributions de charge de travail.

Au cours de sa formation, Alphazero a appris à reconnaître les modèles dans les tâches dans les centres de données et a également appris à prédire les meilleures façons de gérer la capacité et de prendre des décisions avec les meilleurs résultats à long terme.

Lorsque nous avons appliqué Alphazero à Borg dans les essais expérimentaux, nous avons constaté que nous pouvions réduire la proportion de matériel sous-utilisé dans le centre de données jusqu’à 19%.

Comprimer efficacement la vidéo

Le streaming vidéo constitue la majorité du trafic Internet. Ainsi, trouver des moyens de rendre le streaming plus efficace, aussi grand ou petit, aura un impact énorme sur les millions de personnes à regarder des vidéos chaque jour.

Nous avons travaillé avec YouTube pour compresser et transmettre une vidéo en utilisant les capacités de résolution de problèmes de Muzero. En réduisant le débit binaire de 4%, Muzero a amélioré l’expérience globale de YouTube – sans compromettre la qualité visuelle.

Nous avons initialement appliqué Muzero pour optimiser la compression de chaque trame vidéo individuelle. Maintenant, nous avons élargi ce travail pour aider à prendre des décisions sur la façon dont les cadres sont regroupés et référencés lors de l’encodage, ce qui entraîne une plus grande économie de débit.

Les résultats de ces deux premières étapes montrent une grande promesse du potentiel de Muzero à devenir un outil plus généralisé, aidant à trouver des solutions optimales sur l’ensemble du processus de compression vidéo.

Découvrir des algorithmes plus rapides

Alphadevune version d’Alphazero, a fait une nouvelle percée en informatique, lorsqu’elle a découvert des algorithmes de tri et de hachage plus rapides. Ces processus fondamentaux sont utilisés des milliards de fois par jour pour trier, stocker et récupérer des données.

Algorithmes de tri d’Alphadev

Les algorithmes de tri aident les informations sur les appareils numériques et afficher les informations, du classement des résultats de recherche en ligne et des publications sociales, aux recommandations des utilisateurs.

Alphadev a découvert un algorithme qui augmente l’efficacité pour le tri de courtes séquences d’éléments de 70% et d’environ 1,7% pour les séquences contenant plus de 250 000 éléments, par rapport aux algorithmes de la bibliothèque C ++. Cela signifie que les résultats générés à partir des requêtes utilisateur peuvent être triés beaucoup plus rapidement. Lorsqu’il est utilisé à grande échelle, cela permet d’économiser d’énormes quantités de temps et d’énergie.

Algorithmes de hachage d’Alphadev

Les algorithmes de hachage sont souvent utilisés pour le stockage et la récupération des données, comme dans une base de données client. Ils utilisent généralement une clé (par exemple, le nom d’utilisateur «Jane Doe») pour générer un hachage unique, ce qui correspond aux valeurs de données qui nécessitent une récupération (par exemple «Numéro de commande 164335-87»).

Comme un bibliothécaire qui utilise un système de classification pour trouver rapidement un livre spécifique, avec un système de hachage, l’ordinateur sait déjà ce qu’il recherche et où le trouver. Lorsqu’elle est appliquée à la gamme 9-16 octets des fonctions de hachage dans les centres de données, l’algorithme d’Alphadev a amélioré l’efficacité de 30%.

L’impact de ces algorithmes

Nous avons ajouté les algorithmes de tri au Bibliothèque C ++ standard LLVM – Remplacement des sous-routines utilisées depuis plus d’une décennie. Et a apporté les algorithmes de hachage d’Alphadev aux bibliothèque d’Abseil.

Depuis lors, des millions de développeurs et d’entreprises ont commencé à les utiliser dans toutes les industries aussi divers que le cloud computing, les achats en ligne et la gestion de la chaîne d’approvisionnement.

Outils à usage général pour alimenter notre avenir numérique

Nos outils d’IA économisent déjà des milliards de personnes de temps et d’énergie. Ce n’est que le début. Nous envisageons un avenir où les outils d’IA à usage général peuvent aider à optimiser l’écosystème informatique global.

Nous n’y sommes pas encore – nous avons toujours besoin d’une infrastructure numérique plus rapide, plus efficace et durable.

Beaucoup plus de percées théoriques et technologiques sont nécessaires pour créer des outils d’IA entièrement généralisés. Mais le potentiel de ces outils – à travers la technologie, la science et la médecine – nous rend enthousiasmés par ce qui se passe à l’horizon.