Propulsé par ClearPath: Points forts de la recherche de l’ICRA 2025

Les meilleurs esprits de la robotique du monde se rassemblent à l’ICRA 2025 à Atlanta, en Géorgie, et nous sommes fiers de voir des robots de Clearpath aider à stimuler la conversation de recherche. Des nouvelles applications dans la navigation autonome aux progrès de l’interaction par l’homme-robot, les chercheurs de toutes les institutions utilisent nos plateformes pour explorer une gamme de défis et de solutions dans le domaine. Dans cet article de blog, nous mettons en évidence cinq articles offrant un examen plus approfondi de la façon dont nos robots sont utilisés pour propulser la recherche en robotique.

Quasinav: Planification de navigation au coût asymétrique avec apprentissage en renforcement quasi-trait

Plateforme ClearPath: Jackal

La navigation autonome dans des environnements extérieurs non structurés est intrinsèquement difficile en raison de la présence de coûts de traversée asymétriques, tels que des dépenses énergétiques variables pour les mouvements de la descente. Les méthodes d’apprentissage traditionnelles de renforcement supposent souvent les coûts symétriques, ce qui peut entraîner des chemins de navigation sous-optimaux et des risques de sécurité accrus dans les scénarios du monde réel. Dans cet article, nous introduisons Quasinav, un nouveau cadre d’apprentissage de renforcement qui intègre des intégres quasimétriques pour modéliser explicitement les coûts asymétriques et guider une navigation efficace et sûre. Quasinav formule le problème de navigation en tant que processus de décision de Markov contraint (CMDP) et utilise des intégres quasimétriques pour capturer les coûts en fonction de la direction, permettant une représentation plus précise du terrain. Nous combinons cette approche avec le resserrement des contraintes adaptatives. Cela garantit que les contraintes de sécurité sont appliquées dynamiquement pendant l’apprentissage. Nous validons le quasinav sur un robot de chacal de ClearPath dans trois scénarios de navigation difficiles – introduisant des terrains, une traversée asymétrique de la colline et une traversée de terrains directionnellement – démontrant son efficacité dans des environnements simululés et réels. Les résultats expérimentaux montrent que le quasinav surpasse significativement les méthodes conventionnelles, atteignant des taux de réussite plus élevés, amélioration de l’efficacité énergétique (réduction de 13,6% de la consommation d’énergie par rapport aux méthodes de base) et meilleure adhérence aux contraintes de sécurité.

Hossain, Jumman – Université du Maryland, comté de Baltimore
Faridee, Abu-Zaher – Université du Maryland, comté de Baltimore
Asher, Derrik – laboratoire de recherche de l’armée Devcom
Freeman, Jade – laboratoire de recherche de l’armée Devcom
Gregory, Timothy – Laboratoire de recherche de la Devcom Army
Trout, Theron T. – Stormfish Scientific Corp
Roy, Nirmalya – Université du Maryland, comté de Baltimore

VLM-Gronav: Navigation du robot utilisant des modèles de langue de vision à la terre physique dans des environnements extérieurs

Plateforme ClearPath: Husky

Nous présentons un nouvel algorithme de navigation de robot autonome pour les environnements en plein air qui est capable de gérer diverses conditions de traversée de terrains. Notre approche, VLM-Gronav, utilise des modèles de vision en langue de vision (VLM) et les intègre à la mise à la terre physique qui est utilisée pour évaluer les propriétés du terrain intrinsèque telles que la déformabilité et la glissade. Nous utilisons la détection proprioceptive, qui fournit des mesures directes de ces propriétés physiques, et améliore la compréhension sémantique globale des terrains. Notre formulation utilise l’apprentissage en contexte pour fonder la compréhension sémantique du VLM avec des données proprioceptives pour permettre des mises à jour dynamiques des estimations de traverse basées sur les interactions physiques en temps réel du robot avec l’environnement. Nous utilisons les estimations de traversibilité mises à jour pour informer les planificateurs locaux et mondiaux pour la reprise de la trajectoire en temps réel. Nous validons notre méthode sur un robot à pattes (Ghost Vision 60) et un robot à roues (Clearpath Husky), dans divers environnements extérieurs du monde réel avec différents terrains déformables et glissants. Dans la pratique, nous observons des améliorations significatives par rapport aux méthodes de pointe d’une augmentation jusqu’à 50% du taux de réussite de la navigation.

Elnoor, Mohamed – Université du Maryland
Kulathun MudiyanSelage, Kasun Weerakoon – Université du Maryland, College Park
Seneviratne, Gershom DeVake – Université du Maryland, College Park
Xian, Ruiqi – Université du Maryland, College Park
Guan, Tianrui – Université du Maryland
M Jaffar, Mohamed Khalid – Université du Maryland, College Park
Rajagopal, Vignesh – Université du Maryland, College Park
Manocha, Dinesh – Université du Maryland

«N’oubliez pas de remettre le lait!» Ensemble de données pour permettre aux agents incarnés de détecter les situations anormales

Plateforme ClearPath: Turtlebot

Les robots domestiques ont l’intention de faciliter la vie de leurs utilisateurs. Notre travail vise à aider dans cet objectif en permettant aux robots d’informer leurs utilisateurs d’anomalies dangereuses ou insalubres dans leur maison. Quelques exemples de ces anomalies incluent l’utilisateur qui laisse son lait, oubliant d’éteindre le poêle ou laissant le poison accessible aux enfants. Pour évoluer vers l’activation des robots domestiques avec ces capacités, nous avons créé un nouvel ensemble de données, que nous appelons SafetyDetect. L’ensemble de données de sécurité de sécurité se compose de 1000 scènes de maison anormales, chacune contenant des situations dangereuses ou insalubres pour qu’un agent puisse détecter. Notre approche utilise de grands modèles de langage (LLMS) aux côtés à la fois d’une représentation de graphique de la scène et des relations entre les objets de la scène. Notre aperçu clé est que ce graphique de scène connecté et les relations d’objet qu’il encodent permet au LLM de mieux raisonner sur la scène – en particulier en ce qui concerne la détection de situations dangereuses ou insalubres. Notre approche la plus prometteuse utilise GPT-4 et poursuit une technique de classification où les relations d’objets du graphique de la scène sont classées comme normales, dangereuses, insalubres ou dangereuses pour les enfants. Cette méthode est capable d’identifier correctement plus de 90% des scénarios anormaux de l’ensemble de données de sécurité. De plus, nous effectuons des expériences du monde réel sur un Turtlebot de Clearpath où nous générons un graphique de scène à partir de visuels de la scène du monde réel, et exécutons notre approche sans modification. Cette configuration a entraîné peu de pertes de performances. L’ensemble de données et le code de sécurité de sécurité seront publiés au public lors de la publication de ce document.

Mullen, James – Université du Maryland
Goyal, Prasoon – Amazon
Piramuthu, Robinson – Amazon
Johnston, Michael – Amazon
Manocha, Dinesh – Université du Maryland
Ghanadan, Reza – Amazon

Robots contrôlés par jailbreaking LLM

Plateforme ClearPath: Jackal

L’introduction récente de modèles de grandes langues (LLMS) a révolutionné le domaine de la robotique en permettant un raisonnement contextuel et une interaction intuitive de robot humain dans des domaines aussi variés que la manipulation, la locomotion et les véhicules autonomes. Lorsqu’elles sont considérées comme une technologie autonome, les LLM sont connues pour être vulnérables aux attaques jailbreakées, dans lesquelles les promesseurs malveillants suscitent du texte nocif en contournant LLM Sénalisation Guaretrails. Pour évaluer les risques de déploiement des LLM en robotique, dans cet article, nous présentons Robopair, le premier algorithme conçu pour jailbreaker des robots contrôlés par LLM. Contrairement aux attaques textuelles existantes sur des chatbots LLM, Robopair provoque des actions physiques nocives de Robots contrôlés par LLM, un phénomène que nous démontrez expérimentalement dans trois scénarios: (i) un réglage de la boîte blanche, dans lequel l’attaquant a un accès complet aux nvidia Dolphins Auto-Driving LLM, (ii) un réglage gris-box UGV Robot équipé d’un planificateur GPT-4O, et (iii) un paramètre de boîte noire, dans lequel l’attaquant n’a requête qu’à l’accès au chien de robot Unitree Robotics GPT-3,5 GPT-3,5. Dans chaque scénario et à travers trois nouveaux ensembles de données d’actions robotiques nuisibles, nous démontrons que Robopair, ainsi que plusieurs lignes de base statiques, trouvent rapidement et efficacement le jailbreaks, atteignant souvent des taux de réussite à 100%. Nos résultats révèlent, pour la première fois, que les risques des LLM jailbreakés s’étendent bien au-delà de la génération de texte, étant donné la possibilité distincte que les robots jailbreakés puissent causer des dommages physiques dans le monde réel. En effet, nos résultats sur l’unité GO2 représentent le premier jailbreak réussi d’un système robotique commercial déployé. S’attaquer à cette vulnérabilité émergente est essentiel pour assurer le déploiement sûr des LLM en robotique. Des médias supplémentaires sont disponibles sur: https://robopair.org.

Robey, Alexander – Université de Pennsylvanie
Ravichandran, Zachary – Université de Pennsylvanie
Kumar, Vijay – Université de Penn
Hassani, Hamed – Université de Pennsylvanie
Pappas, George J. – Université de Pennsylvanie

Route coopérative UAV-UGV à base d’énergie à risque

Plateforme ClearPath: Husky

La maximisation de l’endurance des véhicules aériens sans pilote (UAV) dans des missions de surveillance à grande échelle s’étendant sur de grandes surfaces nécessite de s’attaquer à leur capacité de batterie limitée. Le déploiement de véhicules au sol sans pilote (UGV) en tant que stations de recharge mobile offre une solution pratique, étendant la gamme opérationnelle des UAV. Cela présente le défi d’optimiser les routes UAV-UGV pour une couverture efficace du point de mission et une coordination de recharge sans couture. Dans cet article, nous présentons un cadre d’apprentissage en renforcement profond (RA-DRL), avec un risque, avec un mécanisme d’attention multi-tête au sein d’une architecture de transformateur d’encodeur pour résoudre ce problème de routage coopératif pour une équipe UAV-UGV. Notre modèle minimise le temps de mission tout en tenant compte de la consommation de carburant stochastique de l’UAV, influencé par des facteurs environnementaux tels que la vitesse du vent, assurant l’adhésion à un seuil de risque pour éviter l’épuisement de l’énergie à mi-mission. Des évaluations approfondies sur diverses tailles de problèmes montrent que notre méthode surpasse considérablement l’heuristique du plus proche voisin dans la qualité de la solution et la gestion des risques. Nous validons la politique RA-DRL dans un environnement SITL Gazebo-Ros avec un UAV personnalisé basé sur PX4 et ClearPath Husky UGV. Les résultats démontrent la robustesse et l’adaptabilité de notre politique, ce qui le rend très efficace pour la planification de la mission dans des scénarios dynamiques et incertains.

Mondal, Mohammad Safwan – Université de l’Illinois Chicago
Ramasamy, Subramanian – Université de l’Illinois Chicago
Rownak, RAGIB – Université de l’Illinois Chicago
Russo, Luca – Université de l’Illinois Chicago
HUMANN, JAMES – Laboratoire de recherche de la Devcom Army
James, Dotterweich, Jim – Laboratoire de recherche de l’armée
Bhounsule, Pranav – Université de l’Illinois à Chicago

Nous applaudissons les recherches impressionnantes effectuées par ces cinq groupes à l’aide de plateformes de robotique ClearPath. C’est formidable de voir la gamme d’applications et d’idées provenant de la communauté universitaire. Nous avons hâte de vous voir à l’ICRA dans quelques semaines!

Découvrez toutes les soumissions de documents du programme technique de l’ICRA ici.