NVIDIA publie des plateformes informatiques de nuage à robot pour l’IA physique, le développement de l’humanoïde

Le plan GR00T-Dreams génère des données pour former le raisonnement et le comportement des robots humanoïdes. Source: Nvidia

Chez Computex aujourd’hui à Taipei, à Taiwan, Nvidia Corp. a annoncé Isaac GR00T N1.5, la première mise à jour de son modèle de base ouvert, généralisé et personnalisable pour le raisonnement et les compétences du robot humanoïde. La société basée à Santa Clara, en Californie, a également dévoilé Isaac GR00T-Dreams, un plan pour générer des données de mouvement synthétique, ainsi que les systèmes Nvidia Blackwell pour accélérer le développement humanoïde.

« L’IA physique et la robotique provoqueront la prochaine révolution industrielle », a déclaré Jensen Huang, fondateur et PDG de NVIDIA. «Des cerveaux d’IA pour les robots aux mondes simulés pour pratiquer dans ou les superordinateurs de l’IA pour la formation des modèles de fondation, Nvidia fournit des blocs de construction pour chaque étape du parcours de développement de la robotique.»

Humanoïde et d’autres développeurs de robotiques Agility Robotics, Boston Dynamics, Fourier, FoxLink, Galbot, Mentee Robotics, Neura Robotics, General Robotics, Skild AI et XPeng Robotics adoptent Nvidia Isaac Technologies de plate-forme pour faire progresser le développement et le déploiement des robots humanoïdes.

« L’IA physique est la prochaine vague d’IA », a déclaré le révérend Lebaredian, vice-président de Omniverser et technologie de simulation chez Nvidia. «L’IA physique comprend les lois de la physique et peut générer des actions basées sur les intrants des capteurs. L’IA physique incarnera trois types de robots majeurs, des installations comme les usines et les entrepôts de nos partenaires de Taiwan, robots de transport, robots (industriels), humanoïdes, manipulateurs et AMR (robots mobiles autonomes).»

Nvidia Isaac GR00T Génération de données Le plan de génération de données comble l’écart de données

Dans son calculx couvertureHuang a déclaré qu’Isaac GR00T-Dream peut aider à générer de grandes quantités de données de mouvement synthétique. AI physique Les développeurs peuvent utiliser ces trajectoires neuronales pour enseigner aux robots de nouveaux comportements, notamment comment s’adapter aux environnements changeants.

Les développeurs peuvent d’abord prédire les modèles de fondation mondiale de la Fondation mondiale (WFMS) pour leurs robots. Ensuite, en utilisant une seule image comme entrée, GR00T-Rreams génère des vidéos du robot effectuant de nouvelles tâches dans de nouveaux environnements.

Le plan du plan extrait ensuite l’action jetons – des données compressées et digestibles – qui sont utilisées pour enseigner aux robots comment effectuer ces nouvelles tâches, a déclaré Nvidia. Le plan de dream gr00t-dream complète le Isaac GR00T-MIMIC BLUEPRINTqui a été libéré au GTC Conférence en mars.

Tandis que Gr00T-Mimic utilise le nvidia Omniverser et Cosmos Plateformes pour augmenter les données existantes, GR00T-Dreams utilise COSMOS pour générer des données entièrement nouvelles.

Accepte maintenant les soumissions de session!

Les nouveaux modèles font progresser le développement humanoïde

Recherche Nvidia utilisé le plan de dream gr00t-dream pour générer des données de formation synthétique pour développer GR00T N1.5 – Une mise à jour de GR00T N1 – en seulement 36 heures. En comparaison, il a déclaré que la collecte manuelle des données humaines aurait pris près de trois mois.

Le entreprise affirmé que GR00T N1.5 Peut mieux s’adapter aux nouveaux environnements et aux configurations de l’espace de travail, ainsi qu’à reconnaître les objets via des instructions utilisateur. Il a déclaré que cette mise à jour améliore considérablement le taux de réussite du modèle pour les tâches de manutention et de fabrication de matériaux communs comme le tri ou le rangement d’objets.

GR00T N1.5 peut être déployé sur l’ordinateur Nvidia Jetson Thor Robot, lancé plus tard cette année.

«GR00T N1.5 a été formé sur des données synthétiques générées par le nouveau groupe de groupes Rêves», a expliqué Lebaredian. «Le plus grand défi dans le développement de robots est l’écart de données. Il est facile pour les développeurs LLM (modèle grand langage) de former des modèles car il existe une multitude de données.

« Donc, au lieu de capturer manuellement, pourquoi ne laissons-nous pas les robots de rêve des données? » Il a ajouté. «Group Dreams est un plan de génération de données synthétique construit sur Nvidia Cosmos Un modèle de fondation en monde ouvert à venir bientôt sur un visage.

« Une fois post-formé, les développeurs peuvent ensuite utiliser une seule image et de nouvelles invites pour générer des rêves, l’avenir de l’image originale », a poursuivi Lebaredian. «Les développeurs peuvent inciter à ramasser différents éléments, comme la pomme ici, ou la boîte ici. Ensuite, les rêves sont évalués et filtrés par la raison COSMOS, un nouveau modèle de raisonnement physique physique, et automatiquement étiqueté avec des données d’action et de trajectoire.»

Les premiers adoptants des modèles GR00T N comprennent Aeirobot, Foxlink, Lightwheel et Neura Robotics. Aeirobot Emploie le modèle pour permettre à Alice4 de comprendre les instructions du langage naturel et d’exécuter des workflows de pick-and-place complexes en milieu industriel.

FoxLink Group l’utilise pour améliorer la flexibilité et l’efficacité du manipulateur des robots industriels, tandis que le roue léger exploite pour valider données synthétiques pour plus rapide humanoïde Déploiement du robot dans les usines. Neura Robotics évalue le modèle pour accélérer son développement de systèmes d’automatisation des ménages.

https://www.youtube.com/watch?v=ge7vdgr_j1g

Cadres de génération de simulation et de données

Développement de très compétences robots humanoïdes Nécessite une quantité massive de données diverses, qui sont coûteuses pour capturer et traiter, noté Nvidia. Les robots doivent être testés dans le monde physique, qui peuvent présenter les coûts et les risques.

Pour aider à combler l’écart des données et des tests, NVIDIA a dévoilé les technologies de simulation suivantes:

• NVIDIA COSMOS RAINun nouveau WFM qui utilise un raisonnement en chaîne de pensées pour aider à organiser une qualité précise et de meilleure qualité Données synthétiques pour le mod d’IA physiqueEl formation, est maintenant disponible sur Visage étreint.
• Cosmos prédire 2utilisé dans GR00T-Dreams, arrive bientôt sur le visage étreint, avec des améliorations de performance pour la génération mondiale de haute qualité et une hallucination réduite.
• Nvidia isaac gr00t-imicun plan pour générer des quantités exponentiellement grandes de trajectoires de mouvement synthétiques pour la manipulation du robot, en utilisant seulement quelques démonstrations humaines.
• Ensemble de données d’IA physique open sourcequi comprend désormais 24 000 trajectoires de mouvement de robot humanoïde de haute qualité utilisées pour développer des modèles GR00T N.
• Nvidia Isaac Sim 5.0un cadre de génération de données de simulation et synthétique, sera bientôt ouvertement Disponible sur github.
• Nvidia Isaac Lab 2.2un cadre d’apprentissage des robots open source, qui prendra en charge de nouveaux environnements d’évaluation pour aider les développeurs à tester les modèles GR00T N.

Lebaredien a vanté comment GR00T N1.5 peut accélérer le développement: «Les développeurs utilisent ces rêves pour renforcer les données d’entraînement, l’amélioration des performances du modèle et la réduction de la nécessité de capturer manuellement les données de téléopération par un facteur de 20. Notre équipe de recherche a formé GR00T N1.5 en utilisant les rêves générés en 36 heures par rapport à ce qui aurait pris trois mois pour un humain à capturer manuellement. »

Les développeurs peuvent-ils utiliser RTX Pro 6000, la génération de données synthétiques et la simulation pour construire des robots en plus des humanoïdes?

« Essentiellement, si vous pensez à ce qu’est un robot humanoïde, c’est une sorte de superset de nombreux autres types de robots », a répondu Lebaredian à Le rapport robot. «Il a une locomotion. Il pourrait se déplacer comme un AMR. Il a des bras qui peuvent se cacher, comme un manipulateur de robot.»

« L’une des raisons pour lesquelles nous aimons nous concentrer sur les humanoïdes est que si vous pouvez résoudre le problème humanoïde, tous les autres problèmes de la robotique tombent naturellement à partir de là », a-t-il affirmé. «Ainsi, le même processus que nous utilisons pour générer les données synthétiques puis les tester s’appliquent à tout type de robot. Nous voyons beaucoup de cas d’utilisation pour les robots humanoïdes et un grand manque de données.»

Foxconn et Link utilisent le plan GR00T-MIMIC pour la génération de manipulation de mouvement synthétique pour accélérer leurs pipelines d’entraînement en robotique. Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, Neura Robotics et XPeng Robotics simulent et forment leurs humanoïdes en utilisant Isaac Sim et Isaac Lab.

Skild AI utilise les cadres de simulation pour développer l’intelligence générale des robots, et General Robotics les intègre dans sa plate-forme Robot Intelligence.

Le robot de soins infirmiers collaboratifs de Foxconn en est un exemple des applications hospitalières intelligentes développées à l’aide de Nvidia Technologies. Source: Foxconn

Systèmes Nvidia Blackwell disponibles pour les développeurs de robots

Les fabricants de systèmes mondiaux construisent Nvidia RTX Pro 6000 postes de travail et serveurs. Nvidia dit Il offre une architecture unique pour exécuter facilement les charges de travail de développement de robots à travers la formation, la génération de données synthétiques, l’apprentissage des robots et simulation. Cela fait partie de sa stratégie de création «Usines d’IA » avec des partenaires tels que Foxconn.

Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo et Supermicro ont annoncé RTX Pro 6000 Blackwell-Res serveurs puissants, qui seront utilisés pour des choses telles que la recherche informatique quantique. Pendant ce temps, Dell Technologies, HPI et Lenovo ont annoncé NVIDIA RTX PRO 6000 PARTATIONS DE TRAVAILLEMENT DE BLACKWELL.

Lorsque plus de calcul est nécessaire pour exécuter des charges de travail de formation à grande échelle ou de génération de données, les développeurs peuvent puiser dans des systèmes Blackwell comme GB200 NVL72 – disponible avec Nuage nvidia dgx sur les principaux fournisseurs de cloud et NVIDIA Cloud Partners – Pour atteindre jusqu’à 18 fois plus de performances plus importantes pour le traitement des données, a déclaré Nvidia. Les développeurs peuvent déployer leurs modèles sur Nvidia Jetson Agx Thor, à venir bientôt, pour accélérer l’inférence et l’exécution sur le robot.

Les développeurs peuvent déployer leurs modèles Robot Foundation sur la plate-forme Jetson Thor. La société a déclaré qu’elle venait également bientôt pour accélérer l’inférence sur le robot et les performances d’exécution.

Nvidia a également annoncé ce qui suit:

Les serveurs RTX Pro Blackwell offrent une accélération pour l’IA, la conception, l’ingénierie et les applications commerciales pour la création d’une infrastructure informatique avec la nouvelle conception validée de l’usine NVIDIA ENTERPRISE. Source: Nvidia