Nvidia dévoile un ensemble de données d’IA physique ouvert pour faire progresser la robotique et le développement de véhicules autonomes

Enseigner aux robots et véhicules autonomes comment interagir avec le monde physique nécessite de grandes quantités de données de haute qualité. Pour donner une longueur d’avance aux chercheurs et aux développeurs, Nvidia publie un ensemble de données open source massif pour construire la prochaine génération de AI physique.

Annoncé à Nvidia GTCune conférence mondiale sur l’IA qui se déroule cette semaine à San Jose, en Californie, cet ensemble de données pré-validé de qualité commerciale peut aider les chercheurs et les développeurs à lancer des projets physiques d’IA qui peuvent être prohibitifs à recommencer à zéro. Les développeurs peuvent soit utiliser directement l’ensemble de données pour le modèle pré-formationtest et validation – ou l’utiliser pendant post-entraînement Pour affiner les modèles World Foundation, accélérant le chemin du déploiement.

L’ensemble de données initial est maintenant disponible sur le visage étreintoffrant aux développeurs 15 téraoctets de données représentant plus de 320 000 trajectoires pour la formation en robotique, plus jusqu’à 1 000 Description de la scène universelle (OpenUSD) des actifs, y compris un Simratead collection. Des données dédiées à la prise en charge du développement de véhicules autonomes de bout en bout (AV) – qui comprendront des clips de 20 secondes de divers scénarios de trafic couvrant plus de 1 000 villes à travers les États-Unis et deux douzaines de pays européens – arrive bientôt.

Cet ensemble de données augmentera au fil du temps pour devenir le plus grand ensemble de données unifié et ouvert au monde pour le développement physique de l’IA. Il pourrait être appliqué pour développer des modèles d’IA à des robots électriques qui manœuvrent en toute sécurité les environnements d’entrepôt, des robots humanoïdes qui soutiennent les chirurgiens pendant les procédures et les AV qui peuvent naviguer dans des scénarios de trafic complexes comme les zones de construction.

L’ensemble de données AI physique NVIDIA devrait contenir un sous-ensemble du monde réel et données synthétiques Nvidia utilise pour former, tester et valider l’IA physique Nvidia cosmos Plateforme de développement de modèles mondiaux, le Nvidia Drive AV pile logicielle, le Nvidia Isaac Plateforme de développement de robots AI et le Nvidia métropole Framework d’application pour les villes intelligentes.

Les premiers adoptants incluent le Berkeley Deepdrive Center de l’Université de Californie à Berkeley, le Carnegie Mellon Safe Ai Lab et le contextuel Robotics Institute de l’Université de Californie à San Diego.

«Nous pouvons faire beaucoup de choses avec cet ensemble de données, tels que la formation de modèles d’IA prédictifs qui aident les véhicules autonomes à mieux suivre les mouvements des usagers vulnérables de la route comme les piétons pour améliorer la sécurité», a déclaré Henrik Christensen, directrice de la robotique multiple et des laboratoires de véhicules autonomes à l’UCSD. «Un ensemble de données qui fournit un ensemble diversifié d’environnements et de clips plus longs que les ressources open source existantes sera extrêmement utile pour faire progresser la robotique et la recherche AV.»

Répondre à la nécessité de données d’IA physique

L’ensemble de données sur l’IA physique NVIDIA peut aider les développeurs Échelle des performances de l’IA Pendant la pré-formation, où davantage de données aident à construire un modèle plus robuste – et pendant le post-formation, où un modèle d’IA est formé sur des données supplémentaires pour améliorer ses performances pour un cas d’utilisation spécifique.

La collecte, la conservation et l’annoting d’un ensemble de données qui couvrent divers scénarios et représente avec précision la physique et la variation du monde réel prend du temps, présentant un goulot d’étranglement pour la plupart des développeurs. Pour les chercheurs universitaires et les petites entreprises, la gestion d’une flotte de véhicules sur des mois pour recueillir des données pour les véhicules autonomes est peu pratique et coûteuse – et, car une grande partie des images collectées est sans incident, généralement seulement 10% des données sont utilisées pour la formation.

Mais cette échelle de collecte de données est essentielle pour créer des modèles sûrs, précis et de qualité commerciale. Nvidia Isaac GR00T Les modèles de robotique prennent des milliers d’heures de clips vidéo pour la post-formation – le Modèle GR00T N1par exemple, a été formé sur un vaste ensemble de données humanoïdes de données réelles et synthétiques. Le Nvidia Drive AV Le modèle d’IA de bout en bout pour les véhicules autonomes nécessite des dizaines de milliers d’heures de conduite de données pour se développer.

Cet ensemble de données ouvert, comprenant des milliers d’heures de vidéo multicamea à une diversité, une échelle et une géographie sans précédent – bénéficiera particulièrement au domaine de la recherche en matière de sécurité en permettant de nouveaux travaux sur l’identification des valeurs aberrantes et l’évaluation des performances de généralisation du modèle. L’effort contribue à Halos nvidia«Système de sécurité AV complet.

En plus d’exploiter l’ensemble de données sur l’IA physique NVIDIA pour répondre à leurs besoins de données, les développeurs peuvent encore augmenter le développement de l’IA avec des outils comme Conservateur Nvidia Nemoqui traitent efficacement de vastes ensembles de données pour la formation et la personnalisation du modèle. En utilisant le conservateur NEMO, 20 millions d’heures de vidéo peuvent être traitées en seulement deux semaines sur les GPU NVIDIA Blackwell, contre 3,4 ans sur des pipelines CPU non optimisés.

Les développeurs de robotique peuvent également exploiter le nouveau Nvidia Isaac GR00T Blueprint pour la génération de mouvement de manipulation synthétiqueun flux de travail de référence construit sur Nvidia Omverse et Nvidia cosmos qui utilise un petit nombre de démonstrations humaines pour créer des quantités massives de trajectoires de mouvement synthétiques pour la manipulation du robot.

University Labs devrait adopter un ensemble de données pour le développement de l’IA

Les laboratoires de robotique de l’UCSD comprennent des équipes axées sur les applications médicales, les humanoïdes et la technologie d’assistance à domicile. Christensen prévoit que les données robotiques de l’ensemble de données sur l’IA pourraient aider à développer des modèles d’IA sémantiques qui comprennent le contexte des espaces comme les maisons, les chambres d’hôtel et les hôpitaux.

« L’un de nos objectifs est d’atteindre un niveau de compréhension où, si un robot était invité à ranger votre épicerie, il saurait exactement quels articles devraient aller dans le réfrigérateur et ce qui se passe dans le garde-manger », a-t-il déclaré.

Dans le domaine des véhicules autonomes, le laboratoire de Christensen pourrait appliquer l’ensemble de données pour former des modèles d’IA pour comprendre l’intention de divers usagers de la route et prédire la meilleure action à prendre. Ses équipes de recherche pourraient également utiliser l’ensemble de données pour soutenir le développement de jumeaux numériques qui simulent les cas de bord et les conditions météorologiques difficiles. Ces simulations pourraient être utilisées pour former et tester des modèles de conduite autonomes dans des situations rares dans des environnements réels.

À Berkeley Deepdrive, un centre de recherche leader sur l’IA pour les systèmes autonomes, l’ensemble de données pourrait soutenir le développement de modèles politiques et de modèles de fondation mondiale pour les véhicules autonomes.

«La diversité des données est incroyablement importante pour former des modèles de fondation», a déclaré Wei Zhan, codirecteur de Berkeley Deepdrive. «Cet ensemble de données pourrait soutenir la recherche de pointe pour les équipes du secteur public et privé développant des modèles d’IA pour les véhicules et la robotique autonomes.»

Des chercheurs du Plan de laboratoire AI de l’Université Carnegie Mellon pour utiliser l’ensemble de données pour faire progresser leur travail évaluant et certifiant la sécurité des voitures autonomes. L’équipe prévoit de tester comment un modèle physique de fondation AI formé sur cet ensemble de données fonctionne dans un environnement de simulation avec des conditions rares – et comparer ses performances à un modèle AV formé sur des ensembles de données existants.

«Cet ensemble de données couvre différents types de routes et de géographies, différentes infrastructures, différents environnements météorologiques», a déclaré Ding Zhao, professeur agrégé chez CMU et chef du laboratoire de sécurité. «Sa diversité pourrait être très précieuse pour nous aider à former un modèle avec des capacités de raisonnement causal dans le monde physique qui comprend les cas de pointe et les problèmes à longue queue.»

Accéder à l’ensemble de données physique NVIDIA sur Visage étreint. Construire des connaissances fondamentales avec des cours tels que le Apprendre le chemin d’apprentissage OpenUSD et Fondamentaux de la robotique Path d’apprentissage. Et pour en savoir plus sur les dernières avancées de l’IA physique, regardez le Keynote du GTC par le fondateur et PDG de Nvidia, Jensen Huang.

https://www.youtube.com/watch?v=_wapvowl9z8

Voir avis concernant les informations sur les produits logiciels.