Nvidia Cosmos: autonomiser l’IA physique avec des simulations

Le développement de systèmes d’IA physiques, tels que les robots sur les planchers d’usine et les véhicules autonomes dans les rues, s’appuie fortement sur de grands ensembles de données de haute qualité pour la formation. Cependant, la collecte de données réelles est coûteuse, prend du temps et est souvent limitée à quelques grandes entreprises technologiques. Cosmos de Nvidia La plate-forme relève ce défi en utilisant des simulations de physique avancées pour générer des données synthétiques réalistes sur une échelle. Cela permet aux ingénieurs de former des modèles d’IA sans le coût et le retard associés à la collecte de données réelles. Cet article explique comment Cosmos améliore l’accès aux données de formation essentielles et accélère le développement d’une IA sûre et fiable pour les applications du monde réel.

Comprendre l’IA physique

AI physique fait référence aux systèmes d’intelligence artificielle qui peuvent percevoir, comprendre et agir dans le monde physique. Contrairement à l’IA traditionnelle, qui peut analyser le texte ou les images, l’IA physique doit faire face à des complexités du monde réel comme les relations spatiales, les forces physiques et les environnements dynamiques. Par exemple, une voiture autonome doit reconnaître les piétons, prédire leurs mouvements et ajuster son chemin en temps réel, tout en considérant des facteurs tels que la météo et les conditions routières. De même, un robot dans un entrepôt doit naviguer dans les obstacles et manipuler des objets avec précision.

Le développement d’une IA physique est difficile car il nécessite de grandes quantités de données pour former des modèles sur divers scénarios du monde réel. La collecte de ces données, qu’il s’agisse d’heures de séquences de conduite ou de démonstrations de tâches robotiques, peut être longue et coûteuse. De plus, le test de l’IA dans le monde réel peut être risqué, car les erreurs pourraient conduire à des accidents. Nvidia Cosmos relève ces défis en utilisant des simulations basées sur la physique pour générer des données synthétiques réalistes. Cette approche simplifie et accélère le développement de systèmes d’IA physiques.

Que sont les modèles World Foundation?

Au cœur de Nvidia cosmos est une collection de modèles AI appelés World Modèles de fondation (WFMS). Ces modèles d’IA sont spécialement conçus pour simuler des environnements virtuels qui imitent étroitement le monde physique. En générant des vidéos ou des scénarios consacrés à la physique, les WFMS simulent comment les objets interagissent en fonction des relations spatiales et des lois physiques. Par exemple, un WFM pourrait simuler une voiture conduisant à travers une tempête de pluie, montrant comment l’eau affecte la traction ou comment les phares se reflètent sur les surfaces humides.

Les WFMS sont cruciaux pour l’IA physique car ils fournissent un espace sûr et contrôlable pour former et tester les systèmes d’IA. Au lieu de collecter des données réelles, les développeurs peuvent utiliser des WFMS pour générer des données synthétiques – des simulations réalistes d’environnements et d’interactions. Cette approche réduit non seulement les coûts mais accélère également le processus de développement et permet de tester des scénarios complexes et rares (tels que des situations de circulation inhabituelles) sans les risques associés aux tests réels. Les WFMS sont des modèles à usage général qui peuvent être affinés pour des applications spécifiques, similaires à la façon dont les grands modèles de langue sont adaptés pour des tâches telles que la traduction ou les chatbots.

Dévoiler nvidia cosmos

Nvidia Cosmos est une plate-forme conçue pour permettre aux développeurs de construire et de personnaliser les WFM pour les applications d’IA physiques, en particulier dans les véhicules autonomes (AVS) et la robotique. COSMOS intègre des modèles génératifs avancés, des outils de traitement des données et des fonctionnalités de sécurité pour développer des systèmes d’IA qui interagissent avec le monde physique. La plate-forme est open source, avec des modèles disponibles sous licences permissives.

Les composantes clés de la plate-forme comprennent:

• Modèles génératifs de la Fondation mondiale (WFMS): Modèles pré-formés qui simulent les environnements physiques et les interactions.
• Tokenisers avancés: Outils qui compressent et traitent efficacement les données pour une formation de modèle plus rapide.
• Pipeline de traitement des données accélérée: Un système pour gérer de grands ensembles de données, alimenté par l’infrastructure informatique de Nvidia.

Une nouveauté clé du cosmos est son modèle de raisonnement pour l’IA physique. Ce modèle offre aux développeurs la possibilité de créer et de modifier les mondes virtuels. Ils peuvent adapter des simulations à des besoins spécifiques, comme tester la capacité d’un robot à ramasser des objets ou à évaluer la réponse d’un AV à un obstacle soudain.

Caractéristiques clés de Nvidia Cosmos

Nvidia Cosmos fournit divers composants pour relever des défis spécifiques dans le développement de l’IA physique:

• Cosmos Transfer WFMS: Ces modèles prennent des entrées vidéo structurées, telles que des cartes de segmentation, des cartes de profondeur ou des scans LiDAR, et génèrent des sorties vidéo contrôlables et photoréalistes. Cette capacité est particulièrement utile pour créer des données synthétiques pour former la perception de l’IA, telles que les systèmes qui aident AVS à identifier les objets ou les robots reconnaissent leur environnement.
• Cosmos prédire les WFMS: Les modèles de prédire COSMOS génèrent des états du monde virtuels basés sur des entrées multimodales, y compris du texte, des images et des vidéos. Ils peuvent prédire les scénarios futurs, tels que la façon dont une scène pourrait évoluer au fil du temps et prendre en charge la génération multi-trames pour des séquences complexes. Les développeurs peuvent personnaliser ces modèles en utilisant un ensemble de données IA de NVIDIA pour répondre à leurs besoins spécifiques, tels que la prévision des mouvements piétons ou des actions robotiques.
• Cosmos Reason WFM: Le modèle Cosmos Reason est un WFM entièrement personnalisable avec conscience spatio-temporelle. Sa capacité de raisonnement lui permet de comprendre à la fois les relations spatiales et comment elles changent avec le temps. Le modèle utilise le raisonnement en chaîne de pensées pour analyser les données vidéo et prédire les résultats, comme si une personne va entrer dans un passage pour piétons, ou une boîte tombera d’une étagère.

Applications et cas d’utilisation

Nvidia Cosmos a déjà un impact significatif sur l’industrie, plusieurs sociétés de premier plan adoptant la plate-forme pour leurs projets d’IA physiques. Ces premiers adoptants mettent en évidence la polyvalence et l’impact pratique du cosmos dans divers secteurs:

• 1x: Utilisation du cosmos pour une robotique avancée pour améliorer leur capacité à développer des robots axés sur l’IA.
• Robotique d’agilité: Élargir leur partenariat avec Nvidia pour utiliser le cosmos pour les systèmes robotiques humanoïdes.
• Figure AI: Utiliser le cosmos pour faire progresser la robotique humanoïde, en se concentrant sur l’IA qui peut effectuer des tâches complexes.
• Présallix: Appliquer le cosmos dans une simulation de véhicules autonomes pour générer une large gamme de scénarios de test.
• Skild Ai: Utilisation du cosmos pour développer des solutions dirigés par l’IA pour diverses applications.
• Uber: Intégrer le cosmos dans leur développement de véhicules autonomes pour améliorer les données de formation pour les systèmes autonomes.
• Oxa: Utilisation du cosmos pour accélérer l’automatisation de la mobilité industrielle.
• Incision virtuelle: Explorer le cosmos pour la robotique chirurgicale pour améliorer la précision des soins de santé.

Ces cas d’utilisation démontrent comment le cosmos peut répondre à un large éventail de besoins, du transport aux soins de santé, en fournissant des données synthétiques pour la formation de ces systèmes d’IA physiques.

Implications futures

Le lancement de Nvidia Cosmos est important pour le développement de systèmes d’IA physiques. En offrant une plate-forme open source avec des outils et modèles puissants, NVIDIA rend le développement physique d’IA accessible à un plus large éventail de développeurs et d’organisations. Cela pourrait entraîner des progrès importants dans plusieurs domaines.

Dans le transport autonome, des données de formation et des simulations améliorées pourraient conduire à des voitures autonomes plus sûres et plus fiables. En robotique, le développement plus rapide de robots capables d’effectuer des tâches complexes pourrait transformer des industries telles que la fabrication, la logistique et les soins de santé. Dans les soins de santé, des technologies comme la robotique chirurgicale, comme exploré par l’incision virtuelle, pourraient améliorer la précision et les résultats des procédures médicales.

La ligne de fond

Nvidia Cosmos joue un rôle essentiel dans le développement de l’IA physique. Cette plate-forme permet aux développeurs de générer des données synthétiques de haute qualité en fournissant des modèles de fondation mondiale (WFMS) pré-formés et basés sur la physique pour créer des simulations réalistes. Avec son accès open source, ses fonctionnalités avancées et ses garanties éthiques, Cosmos permet un développement d’IA plus rapide et plus efficace. La plate-forme stimule déjà les progrès majeurs dans des industries comme le transport, la robotique et les soins de santé, en fournissant des données synthétiques pour la construction de systèmes intelligents qui interagissent avec le monde physique.