Gemini Robotics: le raisonnement de l’IA rencontre le monde physique

Ces dernières années, l’intelligence artificielle (IA) a considérablement progressé dans divers domaines, tels que le traitement du langage naturel (PNL) et la vision par ordinateur. Cependant, un défi majeur pour l’IA a été son intégration dans le monde physique. Alors que l’IA a Excellé Pour raisonner et résoudre des problèmes complexes, ces réalisations se sont largement limitées aux environnements numériques. Pour permettre à l’IA d’effectuer des tâches physiques par la robotique, il doit posséder une compréhension approfondie du raisonnement spatial, de la manipulation d’objets et de la prise de décision. Pour relever ce défi, Google a introduit Gémeaux robotiqueune suite de modèles développés à dessein pour la robotique et AI incarné. Construit sur Gemini 2.0, Ces modèles d’IA fusionnent le raisonnement avancé d’IA avec le monde physique pour permettre aux robots d’effectuer un large éventail de tâches complexes.

Comprendre la robotique Gemini

Gemini Robotics est une paire de modèles d’IA construits sur la fondation de Gemini 2.0, un ultras Modèle de vision en langue (VLM) Capable de traiter le texte, les images, l’audio et la vidéo. Gemini Robotics est essentiellement une extension de VLM dans Action de vision-langage (VLA) Modèle, qui permet au modèle Gemini non seulement de comprendre et d’interpréter les entrées visuelles et de traiter les instructions du langage naturel, mais aussi d’exécuter des actions physiques dans le monde réel. Cette combinaison est essentielle pour la robotique, permettant aux machines non seulement de «voir» leur environnement mais aussi de la comprendre dans le contexte du langage humain et d’exécuter la nature complexe des tâches du monde réel, de la manipulation d’objets simples aux activités dextères plus complexes.

L’une des principales forces de la robotique des Gémeaux réside dans sa capacité à généraliser dans une variété de tâches sans avoir besoin de recyclage approfondi. Le modèle peut suivre les instructions de vocabulaire ouvert, s’adapter aux variations de l’environnement et même gérer des tâches imprévues qui ne faisaient pas partie de ses données de formation initiales. Ceci est particulièrement important pour la création de robots qui peuvent fonctionner dans des environnements dynamiques et imprévisibles comme les maisons ou les paramètres industriels.

Raisonnement incarné

Un défi important en robotique a toujours été l’écart entre raisonnement numérique et interaction physique. Bien que les humains puissent facilement comprendre des relations spatiales complexes et interagir parfaitement avec leur environnement, les robots ont eu du mal à reproduire ces capacités. Par exemple, les robots sont limités dans leur compréhension de la dynamique spatiale, l’adaptation à de nouvelles situations et la gestion des interactions imprévisibles du monde réel. Pour relever ces défis, Gemini Robotics intègre un «raisonnement incarné», un processus qui permet au système de comprendre et d’interagir avec le monde physique d’une manière similaire à la façon dont les humains font.

Au contraire du raisonnement d’IA dans les environnements numériques, le raisonnement incarné implique plusieurs composants cruciaux, tels que:

• Détection et manipulation d’objets: Le raisonnement incarné permet aux Gemini Robotics de détecter et d’identifier des objets dans son environnement, même lorsqu’ils ne sont pas vus auparavant. Il peut prédire où saisir les objets, déterminer leur état et exécuter des mouvements comme les tiroirs d’ouverture, verser des liquides ou du papier pliant.
• Trajectoire et prédiction de saisie: Le raisonnement incarné permet aux Gemini Robotics de prédire les chemins les plus efficaces pour le mouvement et d’identifier des points optimaux pour la maintenance des objets. Cette capacité est essentielle pour les tâches qui nécessitent une précision.
• Compréhension 3D: Le raisonnement incarné permet aux robots de percevoir et de comprendre les espaces tridimensionnels. Cette capacité est particulièrement cruciale pour les tâches qui nécessitent une manipulation spatiale complexe, comme le pliage des vêtements ou l’assemblage d’objets. La compréhension de la 3D permet également aux robots d’exceller dans des tâches impliquant des prévisions de correspondance 3D multi-visualités et de boîtes de délimitation 3D. Ces capacités pourraient être essentielles pour les robots pour gérer avec précision les objets.

Dextérité et adaptation: la clé des tâches du monde réel

Bien que la détection et la compréhension d’objets soient essentielles, le véritable défi de la robotique réside dans l’exécution des tâches dextères qui nécessitent une motricité fine. Qu’il s’agisse de plier un renard origami ou de jouer à un jeu de cartes, les tâches qui nécessitent une haute précision et une coordination dépassent généralement la capacité de la plupart des systèmes d’IA. Cependant, Gemini Robotics a été spécialement conçu pour exceller dans de telles tâches.

• Moteur fine: La capacité du modèle à gérer des tâches complexes telles que les vêtements de pliage, l’empilement d’objets ou les jeux présente sa dextérité avancée. Avec un réglage fin supplémentaire, les Gemini Robotics peuvent gérer des tâches qui nécessitent une coordination à travers plusieurs degrés de liberté, comme l’utilisation des deux bras pour des manipulations complexes.
• Apprentissage à quelques coups: Gemini Robotics présente également le concept d’apprentissage à quelques coups, ce qui lui permet d’apprendre de nouvelles tâches avec des démonstrations minimales. Par exemple, avec aussi peu que 100 démonstrations, Gemini Robotics peut apprendre à effectuer une tâche qui pourrait autrement nécessiter des données de formation approfondies.
• S’adapter à de nouveaux modes de réalisation: Une autre caractéristique clé de Gemini Robotics est sa capacité à s’adapter aux nouveaux modes de réalisation de robots. Qu’il s’agisse d’un robot bi-bras ou d’un humanoïde avec un nombre plus élevé de joints, le modèle peut contrôler de manière transparente divers types de corps robotiques, ce qui le rend polyvalent et adaptable à différentes configurations matérielles.

Contrôle zéro-shot et adaptation rapide

L’une des caractéristiques remarquables de Gemini Robotics est sa capacité à contrôler les robots dans un apprentissage zéro ou à rares manière. Le contrôle zéro-shot fait référence à la capacité d’exécuter des tâches sans nécessiter une formation spécifique pour chaque tâche individuelle, tandis que l’apprentissage à quelques coups implique l’apprentissage d’un petit ensemble d’exemples.

• Contrôle zéro-shot via la génération de code: Gemini Robotics peut générer du code pour contrôler les robots même lorsque les actions spécifiques requises n’ont jamais été vues auparavant. Par exemple, lorsqu’il est fourni avec une description de tâche de haut niveau, Gemini peut créer le code requis pour exécuter la tâche en utilisant ses capacités de raisonnement pour comprendre la dynamique physique et l’environnement.
• Apprentissage à quelques coups: Dans les cas où la tâche nécessite une dextérité plus complexe, le modèle peut également apprendre des démonstrations et appliquer immédiatement ces connaissances pour effectuer la tâche efficacement. Cette capacité à s’adapter rapidement à de nouvelles situations est une progression importante du contrôle robotique, en particulier pour les environnements qui nécessitent un changement constant ou une imprévisibilité.

Implications futures

Gemini Robotics est un progrès vital pour la robotique à usage général. En combinant les capacités de raisonnement de l’IA avec la dextérité et l’adaptabilité des robots, cela nous rapproche du but de créer des robots qui peuvent être facilement intégrés dans la vie quotidienne et effectuer une variété de tâches nécessitant une interaction humaine.

Les applications potentielles de ces modèles sont vastes. Dans les environnements industriels, les Gemini Robotics pourraient être utilisées pour des tâches d’assemblage, d’inspections et de maintenance complexes. Dans les maisons, cela pourrait aider avec les tâches, les soins et les divertissements personnels. Alors que ces modèles continuent d’avancer, les robots devraient devenir des technologies généralisées qui pourraient ouvrir de nouvelles possibilités sur plusieurs secteurs.

La ligne de fond

Gemini Robotics est une suite de modèles construits sur Gemini 2.0, conçus pour permettre aux robots d’effectuer un raisonnement incarné. Ces modèles peuvent aider les ingénieurs et les développeurs à créer des robots alimentés par l’IA qui peuvent comprendre et interagir avec le monde physique de manière humaine. Avec la capacité d’effectuer des tâches complexes avec une haute précision et une flexibilité, Gemini Robotics intègre des fonctionnalités telles que le raisonnement incarné, le contrôle de zéro et l’apprentissage à quelques coups. Ces capacités permettent aux robots de s’adapter à leur environnement sans avoir besoin d’un recyclage approfondi. Les Gemini Robotics ont le potentiel de transformer les industries, de la fabrication à l’aide à domicile, rendant les robots plus capables et plus sûrs dans les applications du monde réel. Alors que ces modèles continuent d’évoluer, ils ont le potentiel de redéfinir l’avenir de la robotique.