MIT Vision System enseigne aux robots à comprendre leur corps

Dans un bureau du Laboratoire d’intelligence informatique et d’intelligence artificielle du MIT (CSAIL), une main robotique douce boucle soigneusement ses doigts pour saisir un petit objet. La partie intrigante n’est pas la conception mécanique ou les capteurs intégrés – en fait, la main n’en contient aucune. Au lieu de cela, l’ensemble du système s’appuie sur une seule caméra qui regarde les mouvements du robot et utilise ces données visuelles pour les contrôler.

Cette capacité provient d’un nouveau système Csail Les scientifiques ont développé, offrant une perspective différente sur le contrôle robotique. Plutôt que d’utiliser des modèles conçus à la main ou des réseaux de capteurs complexes, il permet aux robots d’apprendre comment leurs corps réagissent aux commandes de contrôle, uniquement par la vision. L’approche, appelée champs de jacobian neuronaux (NJF), donne aux robots une sorte de conscience de soi corporelle. Un article en libre accès sur l’œuvre a été publié dans Nature le 25 juin.

«Ce travail indique un passage de la programmation des robots aux robots d’enseignement», explique Sizhe Lester Li, doctorant du MIT en génie électrique et en informatique, affilié CSAIL, et Chercheur de tête sur le travail. «Aujourd’hui, de nombreuses tâches robotiques nécessitent une ingénierie et un codage étendus. À l’avenir, nous envisageons de montrer un robot quoi faire et de le laisser apprendre à atteindre l’objectif de manière autonome.»

La motivation découle d’un recadrage simple mais puissant: la principale barrière à la robotique abordable et flexible n’est pas le matériel – son contrôle de la capacité, qui pourrait être réalisé de plusieurs manières. Les robots traditionnels sont conçus pour être rigides et riches en capteurs, ce qui facilite la construction d’un jumeau numérique, une réplique mathématique précise utilisée pour le contrôle. Mais lorsqu’un robot est doux, déformable ou de forme irrégulière, ces hypothèses s’effondrent. Plutôt que de forcer les robots à correspondre à nos modèles, NJF retourne le script – donnant aux robots la capacité d’apprendre leur propre modèle interne à partir de l’observation.

Regarder et apprendre

Ce découplage de la modélisation et de la conception matérielle pourrait étendre considérablement l’espace de conception de la robotique. Dans les robots doux et bio-inspirés, les concepteurs intégrent souvent des capteurs ou renforcent les parties de la structure juste pour rendre la modélisation possible. NJF soulève cette contrainte. Le système n’a pas besoin de capteurs embarqués ou de réglages de conception pour rendre le contrôle possible. Les concepteurs sont plus libres d’explorer des morphologies non conventionnelles et non contraints sans se soucier de savoir s’ils pourront les modéliser ou les contrôler plus tard.

« Pensez à la façon dont vous apprenez à contrôler vos doigts: vous vous sortez, vous observez, vous vous adaptez », a déclaré Li. «C’est ce que fait notre système. Il expérimente des actions aléatoires et détermine les contrôles déplacez les parties du robot.»

Le système s’est avéré robuste sur une gamme de types de robots. L’équipe a testé le NJF sur une main robotique pneumatique douce capable de pincer et de saisir, une main allegro rigide, un bras robotique imprimé en 3D et même une plate-forme rotative sans capteurs intégrés. Dans tous les cas, le système a appris à la fois la forme du robot et la façon dont il a répondu aux signaux de contrôle, juste à partir de la vision et du mouvement aléatoire.

Les chercheurs voient un potentiel bien au-delà du laboratoire. Les robots équipés de NJF pourraient un jour se produire tâches agricoles Avec une précision de localisation au niveau des centimètres, opèrez sur les chantiers de construction sans réseaux de capteurs élaborés ou naviguez sur des environnements dynamiques où les méthodes traditionnelles se décomposent.

Au cœur du NJF se trouve un réseau neuronal qui capture deux aspects entrelacés du mode de réalisation d’un robot: sa géométrie tridimensionnelle et sa sensibilité aux entrées de contrôle. Le système s’appuie sur les champs de rayonnement neuronal (NERF), une technique qui reconstruit les scènes 3D des images en cartographiant les coordonnées spatiales aux valeurs de couleur et de densité. Le NJF étend cette approche en apprenant non seulement la forme du robot, mais aussi un champ jacobien, une fonction qui prédit comment tout point sur le corps du robot se déplace en réponse aux commandes motrices.

Pour former le modèle, le robot effectue des mouvements aléatoires tandis que plusieurs caméras enregistrent les résultats. Aucune supervision humaine ou connaissance préalable de la structure du robot n’est requise – le système déduit simplement la relation entre les signaux de contrôle et le mouvement en regardant.

Une fois l’entraînement terminé, le robot n’a besoin que d’une seule caméra monoculaire pour un contrôle en boucle fermée en temps réel, fonctionnant à environ 12 Hertz. Cela lui permet de s’observer en continu, de planifier et d’agir de manière responsable. Cette vitesse rend le NJF plus viable que de nombreux simulateurs basés sur la physique pour les robots doux, qui sont souvent trop intensifs en calcul pour une utilisation en temps réel.

Dans les premières simulations, même les doigts 2D simples et les curseurs ont pu apprendre cette cartographie en utilisant seulement quelques exemples. En modélisant comment les points spécifiques se déforment ou déplacent en réponse à l’action, le NJF construit une carte dense de la contrôlabilité. Ce modèle interne lui permet de généraliser le mouvement à travers le corps du robot, même lorsque les données sont bruyantes ou incomplètes.

« Ce qui est vraiment intéressant, c’est que le système comprend seul quels moteurs contrôlent quelles parties du robot », a déclaré Li. « Ce n’est pas programmé – il émerge naturellement par l’apprentissage, un peu comme une personne découvrant les boutons sur un nouvel appareil. »

L’avenir est doux

Pendant des décennies, la robotique a favorisé les machines rigides et facilement modélisées – comme les bras industriels trouvés dans les usines – car leurs propriétés simplifient le contrôle. Mais le domaine a évolué vers des robots doux et bio-inspirés qui peuvent s’adapter plus fluides au monde réel. Le compromis? Ces robots sont plus difficiles à modéliser.

«La robotique se sent souvent hors de portée en raison de capteurs coûteux et de programmes complexes. Notre objectif avec les champs de jacobian neuronaux est de réduire la barrière, de rendre la robotique abordable, adaptable et accessible à plus de personnes. «Il ouvre la porte aux robots qui peuvent fonctionner dans des environnements désordonnés et non structurés, des fermes aux chantiers de construction, sans infrastructure coûteuse.»

«La vision à elle seule peut fournir les indices nécessaires à la localisation et au contrôle – éliminant le besoin de GPS, de systèmes de suivi externe ou de capteurs intégrés complexes. Cela ouvre la porte à un comportement robuste et adaptatif dans des environnements non structurés, à partir de drones naviguant à l’intérieur ou sous terre sans cartes à des manipulateurs mobiles travaillant dans des maisons camionnelles ou des articles de travail, et même des robots de robots Daniela Rus, professeure du MIT en génie électrique et informatique et directrice de CSAIL. «En apprenant à partir de la rétroaction visuelle, ces systèmes développent des modèles internes de leur propre mouvement et de leur dynamique, permettant une opération flexible et auto-supervisée où les méthodes de localisation traditionnelles échoueraient.»

Bien que la formation du NJF nécessite actuellement plusieurs caméras et doit être refait pour chaque robot, les chercheurs imaginent déjà une version plus accessible. À l’avenir, les amateurs pourraient enregistrer les mouvements aléatoires d’un robot avec leur téléphone, un peu comme vous prenez une vidéo d’une voiture de location avant de partir et utilisez ces images pour créer un modèle de contrôle, sans connaissance préalable ni équipement spécial requis.

Le système ne généralise pas encore à travers différents robots, et il manque de détection de force ou tactile, limitant son efficacité sur les tâches riches en contact. Mais l’équipe explore de nouvelles façons de traiter ces limites: améliorer la généralisation, gérer les occlusions et prolonger la capacité du modèle à raisonner sur des horizons spatiaux et temporels plus longs.

« Tout comme les humains développent une compréhension intuitive de la façon dont leur corps se déplace et réagit aux commandes, NJF donne aux robots ce genre de conscience de soi par la vision seule », a déclaré Li. «Cette compréhension est un fondement de la manipulation et du contrôle flexibles dans des environnements réels. Notre travail, essentiellement, reflète une tendance plus large de la robotique: s’éloigner de la programmation manuelle des modèles détaillés vers l’enseignement des robots par observation et interaction.»

Note de l’éditeur: Cet article a été republié à partir du MIT News.