Google Deepmind présente le modèle GEMINI AI sur les robots sur les robots

Google Deepmind cette semaine a introduit un modèle robotique Gemini à disposition pour la dextérité à usage général et l’adaptation rapide des tâches. Deepmind a déclaré que cette action de la vision du langage, ou VLA, le modèle apportera le raisonnement multimodal de Gemini 2.0 et la compréhension du monde réel dans le monde physique.

Gemini Robotics sur levice est un robotique modèle de fondation pour les robots à deux bras, conçu pour nécessiter un minimum de ressources de calcul. Étant donné que le modèle est optimisé localement et fonctionne indépendamment d’un réseau de données, DeepMind a déclaré qu’il était utile pour les applications sensibles à la latence. Il peut également garantir la robustesse dans les environnements avec une connectivité intermittente ou nulle.

En plus de la robotique des Gémeaux sur les appareils, Profondeur a introduit le kit de développement de logiciels de robotique Gemini (SDK). Les développeurs peuvent l’utiliser pour évaluer le modèle VLA pour leurs tâches et environnements, le tester dans DeepMind Mujoco Simulator physique et l’adapter rapidement à de nouveaux domaines, avec aussi peu que 50 à 100 démonstrations. Les développeurs peuvent accéder au SDK en s’inscrivant au programme Tester Tester de DeepMind.

DeepMind s’appuie sur l’élan Gemini 2.0

Cela ne fait que quelques mois que DeepMind présenté Gemini Robotics, et il s’appuie déjà sur ses capacités de généralisation des tâches et de capacités de dextérité. L’unité Google a déclaré que le modèle à disque est:

• Conçu pour une expérimentation rapide avec une manipulation dextère
• Adaptable aux nouvelles tâches par le réglage fin pour améliorer les performances
• Optimisé pour fonctionner localement avec une inférence à faible latence

Gemini Robotics sur périphérique atteint une généralisation visuelle, sémantique et comportementale forte dans un large éventail de scénarios de test, a affirmé la société. La plate-forme permet également aux robots de suivre les instructions du langage naturel et de terminer des tâches très habiles, telles que la dézipation des sacs ou les vêtements pliants. DeepMind offrira toujours le modèle de robotique Gemini pour ceux qui recherchent des résultats similaires sans limitations sur les appareils.

Ce système ne se limite pas aux tâches qui fonctionneront hors de la boîte. DeepMind a déclaré que les développeurs peuvent adapter le modèle pour obtenir de meilleures performances pour des applications spécifiques. La société a testé le modèle Sept tâches de manipulation dextères de divers degrés de difficulté, y compris la fermeture d’une boîte à lunch, le dessin d’une carte et le versement de vinaigrette.

DeepMind étend les Gémeaux à plus de modes de réalisation de robots

Tandis que DeepMind a formé son modèle sur disque uniquement pour Aloha Robots, il a pu adapter davantage le modèle à un bi-bras Franka Robot FR3 et Apollo humanoïde robot Apptronik.

Sur FR3 robot, Deepmind a dit le IA Le modèle a suivi les instructions à usage général. Il pourrait gérer des objets et des scènes auparavant invisibles, des tâches dextères complétées comme le pliage d’une robe ou exécuter assemblage de ceinture industrielle tâches qui nécessitaient une précision et une dextérité.

Sur Apollon Humanoid, DeepMind a adapté le modèle à un mode de réalisation significativement différent. Le même modèle généraliste peut suivre les instructions du langage naturel et manipuler différents objets, y compris des objets invisibles auparavant, en général, a déclaré la société.

DeepMind a affirmé qu’il développe tous ses modèles d’alignement avec son Principes d’IA et appliquer un approche de sécurité holistique Spanning Semantic and Physical Safety. En pratique, cela signifie capturer Sécurité sémantique et de contenu en utilisant le API en direct et l’interfaçage des modèles avec des contrôleurs critiques de sécurité de bas niveau pour exécuter les actions.

La société recommande Évaluer le système de bout en bout sur son Benchmark de sécurité sémantique et effectuer des exercices d’équipe rouge à tous les niveaux pour exposer les vulnérabilités de sécurité du modèle.

DeepMind a ajouté que c’est L’équipe responsable du développement et de l’innovation (Redi) continue d’analyser et de conseiller sur l’impact du monde réel de tous les modèles de robotique des Gémeaux, de trouver des moyens de maximiser leur impact sociétal et de minimiser les risques. Son Conseil de responsabilité et de sécurité (RSC) examine ensuite les évaluations, en fournissant des commentaires pour aider à maximiser davantage les avantages et à minimiser les risques.

Pour acquérir une compréhension plus approfondie du profil d’utilisation et de sécurité de Gemini Robotics sur les appareils et pour recueillir les commentaires, la société le publie initialement à un groupe restreint de testeurs de confiance.