Comment la simulation basée sur l’OpenUSD et la génération de données synthétiques Advance Robot Learning

Note de l’éditeur: ce post fait partie de Dans l’omniverseune série axée sur la façon dont les développeurs, les praticiens 3D et les entreprises peuvent transformer leurs flux de travail en utilisant les dernières avancées dans Openusd et Nvidia Omverse.

Les technologies de simulation évolutives stimulent l’avenir de la robotique autonome en réduisant le temps et les coûts de développement.

Description de la scène universelle (OpenUSD) Fournit un cadre de données évolutif et interopérable pour développer des mondes virtuels où les robots peuvent apprendre à être des robots. Avec Simratead Simulations basées sur OpenUSD, les développeurs peuvent créer des scénarios illimités basés sur le monde physique.

Et Nvidia Isaac Sim fait progresser la perception basée sur l’IA simulation robotique. Isaac Sim est une application de référence construite sur le Nvidia Omverse Plateforme pour les développeurs pour simuler et tester des robots dirigés par AI dans des environnements virtuels physiquement basés.

À AWS RE: Invent, Nvidia a annoncé que Isaac Sim est maintenant disponible sur Amazon EC2 G6E Instances alimentées par GPUS NVIDIA L40S. Ces instances puissantes améliorent les performances et l’accessibilité de la SIM ISAAC, ce qui rend les simulations de robotique de haute qualité plus évolutives et plus efficaces.

Ces progrès dans Isaac SIM marquent un saut significatif pour le développement de la robotique. En permettant des tests réalistes et une formation sur les modèles d’IA dans des environnements virtuels, les entreprises peuvent réduire le temps de déploiement et améliorer les performances des robots dans une variété de cas d’utilisation.

Simulation de robotique avancé avec génération de données synthétiques

Des sociétés de robotique comme Cobot, Field IA et Vence utilisent Isaac Sim pour simuler et valider les performances du robot tandis que d’autres, telles que SofTServe et Tata Consultancy Services, utilisent données synthétiques Pour bootstrap Modèles AI pour diverses applications de robotique.

L’évolution de apprentissage du robot a été profondément lié à la technologie de simulation. Les premières expériences en robotique reposaient fortement sur des essais à forte intensité de main-d’œuvre et lourds des ressources. La simulation est un outil crucial pour la création d’environnements physiquement précis où les robots peuvent apprendre par essais et erreurs, affiner les algorithmes et même former des modèles d’IA à l’aide de données synthétiques.

AI physique Décrit les modèles d’IA qui peuvent comprendre et interagir avec le monde physique. Il incarne la prochaine vague de machines et robots autonomescomme les voitures autonomes, les manipulateurs industriels, les robots mobiles, les humanoïdes et même les infrastructures gérées par des robots comme les usines et les entrepôts.

Simulation robotiquequi forme le deuxième ordinateur dans le Trois solution informatiqueest une pierre angulaire du développement de l’IA physique qui permet aux ingénieurs et aux chercheurs concevoir, tester et affiner les systèmes dans un environnement virtuel contrôlé.

https://www.youtube.com/watch?v=uhldha9skfk

Une approche axée sur la simulation réduit considérablement le coût et le temps associés au prototypage physique tout en améliorant la sécurité en permettant aux robots d’être testés dans des scénarios qui pourraient autrement être peu pratiques ou dangereux dans la vie réelle.

Avec un Nouveau flux de travail de référenceles développeurs peuvent accélérer la génération d’ensembles de données 3D synthétiques avec une IA générative en utilisant Microservices OpenUSD NIM. Cette intégration rationalise le pipeline de la création de scène à l’augmentation des données, permettant une formation plus rapide et plus précise des modèles d’IA de perception.

Les données synthétiques peuvent aider à relever le défi des données limitées, restreintes ou non disponibles nécessaires pour former divers types de modèles d’IA, en particulier dans la vision par ordinateur. Le développement de modèles de reconnaissance d’action est un cas d’utilisation courant qui peut bénéficier de la génération de données synthétiques.

Pour apprendre à créer un ensemble de données vidéo de reconnaissance d’action humaine avec Isaac Sim, consultez le blog technique sur Échelle des modèles de reconnaissance d’action avec des données synthétiques. Les simulations 3D offrent aux développeurs un contrôle précis sur la génération d’images, éliminant les hallucinations.

Simulation robotique pour humanoïdes

Robots humanoïdes sont la prochaine vague d’IA incarnée, mais ils présentent un défi à l’intersection de la mécatronique, de la théorie du contrôle et de l’IA. La simulation est cruciale pour résoudre ce défi en fournissant une plate-forme sûre, rentable et polyvalente pour la formation et le test des humanoïdes.

Avec Nvidia Isaac Labun cadre unifié open source pour l’apprentissage du robot construit sur la carte SIM Isaac, les développeurs peuvent former des politiques de robot humanoïde à grande échelle via des simulations. Makes de robots commerciaux de premier plan adoptent le laboratoire Isaac pour gérer les mouvements et les interactions de plus en plus complexes.

NVIDIA Project GR00Tune initiative de recherche active pour permettre l’écosystème de robot humanoïde des constructeurs, est un pionnier des flux de travail tels que GR00T-GEN Pour générer des tâches robots et des environnements prêts pour la simulation dans OpenUSD. Ceux-ci peuvent être utilisés pour former des robots généralistes pour effectuer la manipulation, la locomotion et la navigation.

Des recherches récemment publiées du projet GR00T montrent également comment la simulation avancée peut être utilisée pour former des humanoïdes interactifs. À l’aide d’Isaac Sim, les chercheurs ont développé un seul contrôleur unifié pour Humanoïdes simulés physiquement appelés masqués. Le système est capable de générer un large éventail de mouvements sur divers terrains à partir d’intentions intuitives définies par l’utilisateur.

Les jumeaux numériques basés sur la physique simplifient la formation d’IA

Les partenaires de toutes les industries utilisent Isaac Sim, Isaac Lab, OmIverse et OpenUSD pour concevoir, simuler et déployer machines autonomes plus intelligentes et plus compétentes:

• Agilité Utilise Isaac Lab pour créer des simulations qui permettent de transférer les comportements de robot simulés directement vers le robot, ce qui le rend plus intelligent, agile et robuste lorsqu’il est déployé dans le monde réel.
• Faire un coup de pouce Utilise Isaac Sim avec son cobot alimenté par AI, Proxie, pour optimiser la logistique dans les entrepôts, les hôpitaux, les sites de fabrication et plus encore.
• Robotique cohérente a intégré Isaac SIM dans son cadre logiciel appelé Argus OS pour développer et déployer des cellules de travail robotiques utilisées dans des environnements de fabrication élevés.
• Champ AIun constructeur de modèles Robot Foundation, utilise Isaac Sim et Isaac Lab pour évaluer les performances de ses modèles dans des environnements complexes et non structurés dans toutes les industries telles que la construction, la fabrication, le pétrole et le gaz, l’exploitation minière, etc.
• Seigneur usages Nvidia Isaac Gym et Isaac Lab pour former son robot humanoïde GR-2, en utilisant l’apprentissage par renforcement et des simulations avancées pour accélérer le développement, améliorer l’adaptabilité et améliorer les performances du monde réel.
• Digitale pourprée Intégre Isaac SIM et OMIVERSE pour permettre des tests de robots efficaces, une formation et une analyse des données des capteurs dans des environnements 3D réalistes.
• Galbot Utilisé ISAAC SIM pour vérifier la génération de données de DexgRaspNet, un ensemble de données à grande échelle de 1,32 million de prises de l’ombre, faisant progresser la fonctionnalité de main robotique en permettant une validation évolutive de diverses interactions d’objets à travers 5 355 objets et 133 catégories.
• Bots standard Simulez et valide les performances de son robot R01 utilisé dans les configurations de fabrication et d’usinage.
• Wandelbots Intégre sa plate-forme Nova à Isaac SIM pour créer des jumeaux numériques basés sur la physique et des environnements de formation intuitifs, simplifiant l’interaction des robots et permettant des tests, une validation et un déploiement transparents de systèmes robotiques dans des scénarios du monde réel.

En savoir plus sur la façon dont Wandelbots fait progresser l’apprentissage des robots avec la technologie Nvidia dans cet enregistrement en direct:

https://www.youtube.com/watch?v=dcwnkjkzjcy

Branchez-vous dans le monde d’OpenUSD

Les experts de Nvidia et les ambassadeurs omniversaires hébergent heures de bureau en direct et groupes d’étude Pour fournir aux développeurs de la robotique des conseils techniques et du dépannage de la prise en charge d’Isaac Sim et d’Isaac Lab. Apprenez à commencer à simuler des robots dans Isaac Sim avec Ce nouveau cours gratuit sur Nvidia Deep Learning Institute (DLI).

Pour en savoir plus sur l’optimisation des flux de travail OpenUSD, explorez le nouveau rythme de soi Apprenez OpenUSD Le programme de formation qui comprend des cours DLI gratuits pour les praticiens 3D et les développeurs. Pour plus de ressources sur OpenUSD, explorez le Alliance pour le forum OpenUSD et le Site Web AUSD.

Ne manquez pas le CES Keynote Livré par le fondateur et PDG de Nvidia, Jensen Huang, Live à Las Vegas le lundi 6 janvier à 18h30 PT pour en savoir plus sur l’avenir de l’IA et des graphiques.

Rester à jour en abonnement à Nvidia Newsrejoignant le communautéet après Nvidia Omverse sur Instagram, Liendin, Moyen et X.

Image en vedette gracieuseté de Seigneur.