Qu’est-ce que la simulation robotique? | Blog Nvidia

Les robots déplacent des marchandises dans les entrepôts, emballent les aliments et aident à assembler des véhicules – apportant une automatisation améliorée aux cas d’utilisation dans toutes les industries.

Il y a deux clés de leur succès: AI physique et simulation robotique.

AI physique Décrit les modèles d’IA qui peuvent comprendre et interagir avec le monde physique. L’IA physique incarne la prochaine vague de machines et robots autonomescomme les voitures autonomes, les manipulateurs industriels, les robots mobiles, les humanoïdes et même les infrastructures gérées par des robots comme les usines et les entrepôts.

Avec la mise en service virtuelle des robots dans les mondes numériques, les robots sont d’abord formés à l’aide d’un logiciel de simulation robotique avant d’être déployés pour des cas d’utilisation du monde réel.

Simulation robotique résumé

Un simulateur de robotique avancé facilite apprentissage du robot et tester des robots virtuels sans nécessiter le robot physique. En appliquant les principes de la physique et en reproduisant les conditions du monde réel, ces simulateurs génèrent des ensembles de données synthétiques pour former des modèles d’apprentissage automatique pour le déploiement sur les robots physiques.

Les simulations sont utilisées pour la formation initiale du modèle d’IA, puis pour valider l’intégralité de la pile logicielle, minimisant le besoin de robots physiques pendant les tests. Nvidia Isaac Simune application de référence construite sur le Nvidia Omverse plate-forme, fournit des visualisations et des supports précis Description de la scène universelle (OpenUSD)-Flux de travail basés pour la simulation et la validation des robots avancés.

NvidiaLe cadre informatique de 3 facilite Simulation de robot

Trois ordinateurs sont nécessaires pour former et déployer la technologie des robots.

1. Un supercalculateur pour former et affiner les fondements puissants et les modèles d’IA génératifs.
2. Une plate-forme de développement pour la simulation et les tests robotiques.
3. Un ordinateur d’exécution à bord pour déployer des modèles formés aux robots physiques.

Ce n’est qu’après que l’entraînement adéquat dans des environnements simulés peut être mis en service.

Le Plateforme NVIDIA DGX Peut servir de premier système informatique à former des modèles.

Nvidia Omverse coure sur Nvidia ovx Les serveurs fonctionnent comme le deuxième système informatique, fournissant la plate-forme de développement et l’environnement de simulation pour tester, optimiser et déboguer l’IA physique.

Les ordinateurs de robotique Nvidia Jetson Thor conçus pour l’informatique embarquée servent de troisième ordinateur d’exécution.

Qui utilise la simulation robotique?

Aujourd’hui, la technologie des robots et les simulations de robots augmentent massivement les opérations dans les cas d’utilisation.

Leader mondial des technologies de pouvoir et thermiques Delta Electronics utilise la simulation pour tester ses algorithmes d’inspection optique pour détecter les défauts du produit sur les lignes de production.

Startup technologique profonde Wandelbots construit un simulateur personnalisé En intégrant ISAAC SIM dans son application, ce qui facilite les utilisateurs finaux de programmer des cellules de travail robotiques dans la simulation et de transférer de manière transparente des modèles vers un vrai robot.

Boston Dynamics active les chercheurs et les développeurs à travers son kit de chercheur d’apprentissage du renforcement.

Entreprise de robotique Fourier simule les conditions du monde réel pour former des robots humanoïdes avec la précision et l’agilité nécessaires à la collaboration étroite des robots humains.

Utilisation de Nvidia Isaac Sim, Robotics Company Galbot construit dexgraspnetun ensemble de données simulé complet pour les landes robotiques dextères contenant plus d’un million de tâches de l’ombre sur plus de 5 300 objets. L’ensemble de données peut être appliqué à toute main robotique dextéreuse pour accomplir des tâches complexes qui nécessitent des compétences fins-moteurs.

En utilisant Simulation robotique pour la planification et le contrôle des résultats

Dans les contextes industriels complexes et dynamiques, la simulation robotique évolue pour intégrer jumeaux numériquesAmélioration des résultats de planification, de contrôle et d’apprentissage.

Les développeurs importent des modèles de conception assistés par ordinateur dans un simulateur de robotique pour créer des scènes virtuelles et utiliser des algorithmes pour créer le système d’exploitation du robot et activer la planification des tâches et du mouvement. Bien que les méthodes traditionnelles impliquent la prescription de signaux de contrôle, le passage vers l’apprentissage automatique permet aux robots d’apprendre les comportements à travers des méthodes telles que l’imitation et l’apprentissage du renforcement, en utilisant des signaux de capteur simulés.

Cette évolution se poursuit avec des jumeaux numériques dans des installations complexes comme la fabrication de lignes de montage, où les développeurs peuvent tester et affiner les AIS en temps réel entièrement en simulation. Cette approche permet d’économiser le temps et les coûts de développement des logiciels et réduit les temps d’arrêt en anticipant les problèmes. Par exemple, en utilisant Nvidia OmIverse, Métropole et cuoptles développeurs peuvent utiliser des jumeaux numériques pour développer, tester et affiner l’IA physique en simulation avant de se déployer dans les infrastructures industrielles.

https://www.youtube.com/watch?v=l5m4sqard6w

Haute fidélitéPercées de simulation basées sur la physique

Les simulations basées sur la physique à haute fidélité ont une robotique industrielle suralimentée grâce à une expérimentation du monde réel dans des environnements virtuels.

Nvidia Physxintégré à OmIverse et Isaac Sim, permet aux roboticiens de développer des compétences en moteur fin et brut pour les manipulateurs de robots, la dynamique du corps rigide et douce, la dynamique des véhicules et d’autres caractéristiques critiques qui garantissent que le robot obéit aux lois de la physique. Cela comprend un contrôle précis sur les actionneurs et la modélisation de la cinématique, qui sont essentiels pour des mouvements de robots précis.

Pour combler l’écart Sim à réel, Laboratoire d’Isaac propose un cadre à haute fidélité et open-source pour apprentissage du renforcement et l’apprentissage de l’imitation qui facilite le transfert de stratégie transparente des environnements simulés aux robots physiques. Avec la parallélisation du GPU, Isaac Lab accélère la formation et améliore les performances, ce qui rend les tâches complexes plus réalisables et sûres pour les robots industriels.

Pour en savoir plus sur la création d’une politique d’apprentissage du renforcement de la locomotion avec Isaac Sim et Isaac Lab, lisez ceci Blog des développeurs.

Enseigner un mouvement sans collision pour l’autonomie

La formation des robots industriels se produit souvent dans des contextes spécifiques comme les usines ou les centres de réalisation, où les simulations aident à relever les défis liés à divers types de robots et aux environnements chaotiques. Un aspect critique de ces simulations est de générer un mouvement sans collision dans des environnements inconnus et encombrés.

Les approches traditionnelles de planification de mouvement qui tentent de relever ces défis peuvent être courtes dans des environnements inconnus ou dynamiques. CLAQUERou localisation et cartographie simultanées, peut être utilisé pour générer des cartes 3D d’environnements avec des images de caméra à partir de plusieurs points de vue. Cependant, ces cartes nécessitent des révisions lorsque les objets se déplacent et que les environnements sont modifiés.

L’équipe de recherche en robotique NVIDIA et l’Université de Washington Réseaux de politique de mouvement (mπnets)une politique neuronale de bout en bout qui génère un mouvement sans collision en temps réel à l’aide d’un flux de données de caméra fixe. Formé sur plus de 3 millions de problèmes de planification de mouvement et 700 millions de nuages ​​ponctuels simulés, les MπNets naviguent efficacement dans les environnements réels inconnus.

Alors que le modèle MπNets applique un apprentissage direct pour les trajectoires, l’équipe a également développé un modèle de collision basé sur le cloud appelé Armoireformé sur plus de 650 000 scènes simulées générées par la procédure.

Avec le modèle du cabinet, les développeurs peuvent déployer des politiques générales à usage général d’objets inconnus au-delà d’une configuration de table plate. Formation avec un grand ensemble de données synthétiques Autant que le modèle se généralise aux scènes hors distribution dans un environnement de cuisine réel, sans avoir besoin de données réelles.

Comment les développeurs peuvent commencer à construire Simulateurs robotiques

Commencez avec des ressources techniques, des applications de référence et d’autres solutions pour développer des pipelines de simulation physiquement précises en visitant le NVIDIA Robotics Simulation Page d’utilisation.

Les développeurs de robots peuvent exploiter Nvidia Isaac Simqui prend en charge plusieurs techniques de formation des robots:

• Génération de données synthétiques pour les modèles d’IA de perception de la formation
• Test de logiciel en boucle pour toute la pile de robots
• Formation politique du robot avec Isaac Lab

Les développeurs peuvent également associer ROS 2 à Isaac SIM pour former, simuler et valider leurs systèmes de robots. Le Isaac Sim to Ros 2 Workflow est similaire aux flux de travail exécutés avec d’autres simulateurs de robot tels que Belvédère. Il commence par amener un modèle de robot dans un environnement SIM ISAAC prédéfini, en ajoutant des capteurs au robot, puis en connectant les composants pertinents au graphique d’action ROS 2 et en simulant le robot en le contrôlant via les packages ROS 2.

Restez à jour en abonnement à notre bulletin et suivre Nvidia Robotics sur Liendin, Instagram, X et Facebook.