OpenUSD Workflows Avance une IA physique pour la robotique, les véhicules autonomes

Note de l’éditeur: ce post fait partie de Dans l’omniverseune série axée sur la façon dont les développeurs, les praticiens 3D et les entreprises peuvent transformer leurs flux de travail en utilisant les dernières avancées de la description de la scène universelle (Openusd) et Nvidia Omverse.

La prochaine frontière de l’IA est Ai physique. Les modèles d’IA physiques peuvent comprendre les instructions et percevoir, interagir et effectuer des actions complexes dans le monde réel pour alimenter les machines autonomes comme les robots et les voitures autonomes.

Semblable à la façon dont Modèles de grande langue Peut traiter et générer du texte, les modèles d’IA physiques peuvent comprendre le monde et générer des actions. Pour ce faire, ces modèles doivent être formés dans des environnements de simulation pour comprendre la dynamique physique, comme la gravité, la friction ou l’inertie – et comprendre les relations géométriques et spatiales, ainsi que les principes de cause à effet.

Les leaders mondiaux du développement de logiciels et des services professionnels utilisent Nvidia Omversealimenté par Openusdpour construire de nouveaux produits et services qui accéléreront le développement de l’IA et des simulations contrôlables pour permettre la création de mondes virtuels réels, appelés jumeaux numériquesqui peut être utilisé pour former une IA physique avec une précision et des détails sans précédent.

Générez des données synthétiques exponentielles avec OmIverse et Nvidia Cosmos

À CésNvidia a annoncé Modèles et plans génératifs d’IA qui élargissent l’intégration des omniverses davantage dans les applications d’IA physiques telles que la robotique, les véhicules autonomes et la vision de l’IA.

Parmi ces annonces, il y avait Nvidia cosmosune plate-forme de modèles de Fondation mondiale générative de pointe, de tokeniseurs avancés, de garde-corps et d’un pipeline de traitement vidéo accéléré – tous conçus pour accélérer le développement physique de l’IA.

Le développement de modèles d’IA physiques est un processus coûteux et à forte intensité de temps qui nécessite de grandes quantités de données et de tests réels. Cosmos’ Modèles de fondation mondiale (WFM), qui prédisent les états mondiaux futurs en tant que vidéos basées sur des entrées multimodales, fournissent aux développeurs un moyen facile de générer des quantités massives de photomérales et de physique données synthétiques pour former et évaluer l’IA pour la robotique, les véhicules et machines autonomes. Les développeurs peuvent également affiner les COSMOS COSMOS pour construire des modèles mondiaux en aval ou améliorer la qualité et l’efficacité pour des cas d’utilisation physiques d’IA spécifiques.

Lorsqu’il est associé à OmIverse, Cosmos crée un puissant moteur de multiplication de données synthétiques. Les développeurs peuvent utiliser OMIVERSE pour créer des scénarios 3D, puis alimenter les sorties en cosmos pour générer des vidéos et des variations contrôlées. Cela peut accélérer considérablement le développement de systèmes d’IA physiques tels que les véhicules autonomes et les robots en générant rapidement des données de formation de façon exponentielle couvrant une variété d’environnements et d’interactions.

OpenUSD garantit que les données de ces scénarios sont intégrées de manière transparente et représentées de manière cohérente, améliorant le réalisme et l’efficacité des simulations.

https://www.youtube.com/watch?v=9uch931cdx8

Robotiques et sociétés automobiles, y compris 1x, Robots agiles, Robotique d’agilité, Figure AI, Présallix, Seigneur, Galbot, Bac à colline, Intbot, Neura Robotics, Skild Ai, Incision virtuelle, Waabi et Xpengavec un géant de covoiturage Ubersont parmi les premiers à adopter le cosmos.

En savoir plus sur la façon dont les modèles World Foundation feront progresser l’IA physique en écoutant Épisode du podcast nvidia ai avec Ming-Yu Liu, vice-président de la recherche à Nvidia.

Voir Cosmos en action pour les cas d’utilisation de l’IA physique

Les COSMOS WFMS révolutionnent les industries en fournissant un cadre unifié pour le développement, la formation et le déploiement de modèles d’IA à grande échelle dans diverses applications. Les entreprises des secteurs automobile, industrielle et robotique peuvent exploiter la puissance de l’IA physique générative et de la simulation pour accélérer l’innovation et l’efficacité opérationnelle.

• Robots humanoïdes: Le Nvidia Isaac GR00T Blueprint Pour la génération de mouvement synthétique, aide les développeurs à générer des ensembles de données de mouvement synthétiques massifs pour s’entraîner robots humanoïdes Utilisation de l’apprentissage de l’imitation. Avec GR00T Workflowsles utilisateurs peuvent capturer des actions humaines et utiliser le cosmos pour augmenter de façon exponentielle la taille et la variété de l’ensemble de données, ce qui le rend plus robuste pour la formation des systèmes d’IA physiques.
• Véhicules autonomes: Simulation de véhicules autonomes (AV) alimenté par Interfaces de programmation d’applications RTX OMIVER Permet aux développeurs AV de rejouer des données de conduite, de générer de nouvelles données de fil à travers et d’effectuer des tests en boucle fermée pour accélérer leurs pipelines. Avec Cosmos, les développeurs peuvent générer des scénarios de conduite synthétiques pour amplifier les données d’entraînement par ordres de grandeur, accélérant le développement du modèle d’IA physique pour les véhicules autonomes. Géant mondial du covoiturage Uber est un partenariat avec NVIDIA pour accélérer la mobilité autonome. Ensembles de données de conduite riche d’Uber, combinés avec le cosmos et Nuage nvidia dgxpeut aider les partenaires AV à construire plus efficacement les modèles d’IA plus forts.
• Paramètres industriels: Mega est un plan omniverse Pour développer, tester et optimiser les flottes d’IA et de robots physiques à grande échelle dans un jumeau numérique basé sur l’USD avant le déploiement dans les usines et les entrepôts. Le Blueprint utilise des API RTX à capteur de nuage omniverse pour rendre simultanément des données multisensorielles à partir de tout type de machine intelligente, permettant une haute fidélité simulation du capteur à l’échelle. Le cosmos peut améliorer les méga en générant des scénarios de cas de bord synthétique pour amplifier les données de formation, améliorant considérablement la robustesse et l’efficacité des robots d’entraînement en simulation. Kion Group, une société de solutions de chaîne d’approvisionnement, est parmi les premiers à adopter des méga pour conduire l’automatisation des entrepôts Dans le commerce de détail, des biens de consommation emballés, des services de colis et plus encore.

Branchez-vous dans le monde d’OpenUSD

Pour en savoir plus sur Cosmos, regardez la rediffusion de Nvidia PDG Jensen Huang’s CES Keynoteet commencer avec Cosmos WFMS disponible maintenant sous Une licence de modèle ouvert sur Visage étreint et le Catalogue Nvidia NGC. Rejoignez le prochain Livestream sur Mercredi 5 février Pour une plongée profonde dans les Cosmos WFMS et les flux de travail AI physiques.

Continuez à optimiser les flux de travail OpenUSD avec le nouveau rythme de soi Apprenez OpenUSD programme d’études pour les développeurs et les praticiens 3D, disponibles sans frais grâce au NVIDIA Deep Learning Institute. Pour plus de ressources sur OpenUSD, explorez le Alliance pour le forum OpenUSD et le Site Web AUSD.

Rencontrez les experts Cosmos, OpenUSD et Physical IA Nvidia GTCla conférence pour l’époque de l’IA, qui se déroule du 17 au 21 mars au San Jose Convention Center.

Rester à jour en abonnement à Nvidia Newsrejoignant le communautéet après Nvidia Omverse sur Instagram, Liendin, Moyen et X.