Une nouvelle technique aide les robots à emballer des objets dans un espace serré

Par Adam Zewe | NOUVELLES MIT

Quiconque a déjà essayé d’emballer une quantité familiale de bagages dans un coffre de la taille d’une berline sait que c’est un problème difficile. Les robots luttent également avec des tâches d’emballage denses.

Pour le robot, la résolution du problème d’emballage implique de satisfaire de nombreuses contraintes, telles que l’empilement des bagages, de sorte que les valises ne renversent pas du coffre, les objets lourds ne sont pas placés sur des valises plus légères et les collisions entre le bras robotique et le pare-chocs de la voiture sont évitées.

Certaines méthodes traditionnelles abordent ce problème séquentiellement, en devinant une solution partielle qui répond à une contrainte à la fois, puis en vérifiant si d’autres contraintes ont été violées. Avec une longue séquence d’actions à prendre et un tas de bagages à emballer, ce processus peut prendre une pratique impraticable.

Les chercheurs du MIT ont utilisé une forme d’IA générative, appelée modèle de diffusion, pour résoudre ce problème plus efficacement. Leur méthode utilise une collection de modèles d’apprentissage automatique, chacun étant formé pour représenter un type spécifique de contrainte. Ces modèles sont combinés pour générer des solutions globales au problème d’emballage, en tenant compte de toutes les contraintes à la fois.

Leur méthode a pu générer des solutions efficaces plus rapidement que les autres techniques, et elle a produit un plus grand nombre de solutions réussies dans le même temps. Surtout, leur technique a également été en mesure de résoudre des problèmes avec de nouvelles combinaisons de contraintes et un plus grand nombre d’objets, que les modèles n’ont pas vu pendant la formation.

En raison de cette généralisation, leur technique peut être utilisée pour enseigner aux robots comment comprendre et respecter les contraintes globales des problèmes d’emballage, tels que l’importance d’éviter les collisions ou le désir qu’un objet soit à côté d’un autre objet. Les robots formés de cette manière pourraient être appliqués à un large éventail de tâches complexes dans des environnements divers, de la réalisation des commandes dans un entrepôt pour organiser une étagère dans la maison de quelqu’un.

«Ma vision est de pousser les robots pour effectuer des tâches plus compliquées qui ont de nombreuses contraintes géométriques et des décisions plus continues qui doivent être prises – ce sont les types de problèmes auxquels les robots de services sont confrontés dans nos environnements humains non structurés et divers. Papier sur cette nouvelle technique d’apprentissage automatique.

Ses co-auteurs incluent les étudiants diplômés du MIT Jiayuan Mao et Yilun Du; Jiajun Wu, professeur adjoint d’informatique à l’Université de Stanford; Joshua B. Tenenbaum, professeur au Département du cerveau et des sciences cognitives du MIT et membre du laboratoire de l’informatique et de l’intelligence artificielle (CSAIL); Tomás Lozano-Pérez, professeur d’informatique et d’ingénierie du MIT et membre de CSAIL; et l’auteur principal Leslie Kaebling, professeur Panasonic en informatique et ingénierie au MIT et membre de CSAIL. La recherche sera présentée lors de la conférence sur l’apprentissage des robots.

Complications de contrainte

Les problèmes de satisfaction des contraintes continues sont particulièrement difficiles pour les robots. Ces problèmes apparaissent dans les tâches de manipulation des robots à plusieurs étapes, comme l’emballage des articles dans une boîte ou la mise en place d’une table de dîner. Ils impliquent souvent d’atteindre un certain nombre de contraintes, y compris des contraintes géométriques, telles qu’éviter les collisions entre le bras du robot et l’environnement; contraintes physiques, telles que l’empilement d’objets afin qu’elles soient stables; et des contraintes qualitatives, comme placer une cuillère à droite d’un couteau.

Il peut y avoir de nombreuses contraintes, et ils varient selon les problèmes et les environnements en fonction de la géométrie des objets et des exigences spécifiées par l’homme.

Pour résoudre ces problèmes efficacement, les chercheurs du MIT ont développé une technique d’apprentissage à la machine appelée Diffusion-ccsp. Les modèles de diffusion apprennent à générer de nouveaux échantillons de données qui ressemblent à des échantillons dans un ensemble de données de formation en affinant de manière itérative leur sortie.

Pour ce faire, les modèles de diffusion apprennent une procédure pour apporter de petites améliorations à une solution potentielle. Ensuite, pour résoudre un problème, ils commencent avec une solution aléatoire et très mauvaise, puis l’améliorent progressivement.

En utilisant des modèles d’IA génératifs, les chercheurs du MIT ont créé une technique qui pourrait permettre aux robots de résoudre efficacement des problèmes de satisfaction des contraintes continues, telles que l’emballage d’objets dans une boîte tout en évitant les collisions, comme le montre cette simulation. Image: gracieuseté des chercheurs.

Par exemple, imaginez placer au hasard des plaques et des ustensiles sur une table simulée, leur permettant de se chevaucher physiquement. Les contraintes sans collision entre les objets entraîneront des ruptures, tandis que les contraintes qualitatives feront glisser l’assiette vers le centre, aligner la fourche à salade et la fourche à dîner, etc.

Les modèles de diffusion sont bien adaptés à ce type de problème continu de satisfaction des contraintes car les influences de plusieurs modèles sur la pose d’un objet peuvent être composées pour encourager la satisfaction de toutes les contraintes, explique Yang. En partant d’une supposition initiale aléatoire à chaque fois, les modèles peuvent obtenir un ensemble diversifié de bonnes solutions.

Travailler ensemble

Pour la diffusion-CCSP, les chercheurs ont voulu saisir l’interdépendance des contraintes. Dans l’emballage par exemple, une contrainte peut nécessiter qu’un certain objet soit à côté d’un autre objet, tandis qu’une deuxième contrainte peut spécifier où l’un de ces objets doit être localisé.

Diffusion-CCSP apprend une famille de modèles de diffusion, avec un pour chaque type de contrainte. Les modèles sont formés ensemble, ils partagent donc des connaissances, comme la géométrie des objets à emballer.

Les modèles travaillent ensuite ensemble pour trouver des solutions, dans ce cas, les emplacements pour que les objets soient placés, qui satisfont conjointement les contraintes.

«Nous n’arrivons pas toujours à une solution à la première supposition. Mais lorsque vous continuez à affiner la solution et que des violations se produisent, cela devrait vous conduire à une meilleure solution. Vous obtenez des conseils de vous tromper», dit-elle.

La formation de modèles individuels pour chaque type de contrainte, puis les combinant pour faire des prédictions réduit considérablement la quantité de données de formation requises, par rapport à d’autres approches.

Cependant, la formation de ces modèles nécessite encore une grande quantité de données qui démontrent des problèmes résolus. Les humains devraient résoudre chaque problème avec des méthodes lentes traditionnelles, ce qui permet de générer de telles données prohibitives, dit Yang.

Au lieu de cela, les chercheurs ont inversé le processus en proposant d’abord des solutions. Ils ont utilisé des algorithmes rapides pour générer des boîtes segmentées et ajuster un ensemble diversifié d’objets 3D dans chaque segment, en garantissant un emballage serré, des poses stables et des solutions sans collision.

«Avec ce processus, la génération de données est presque instantanée dans la simulation. Nous pouvons générer des dizaines de milliers d’environnements où nous savons que les problèmes sont résolubles», dit-elle.

Formées à l’aide de ces données, les modèles de diffusion fonctionnent ensemble pour déterminer les objets d’emplacements doivent être placés par la pince robotique qui atteignent la tâche d’emballage tout en répondant à toutes les contraintes.

Ils ont mené des études de faisabilité, puis ont démontré la diffusion-CCSP avec un véritable robot résolvant un certain nombre de problèmes difficiles, notamment en installant des triangles 2D dans une boîte, en emballant des formes 2D avec des contraintes de relation spatiale, en empilant des objets 3D avec des contraintes de stabilité et en emballant des objets 3D avec un bras robotique.

Cette figure montre des exemples d’emballage de triangle 2D. Ce sont des configurations sans collision. Image: gracieuseté des chercheurs.

Cette figure montre l’empilement d’objets 3D avec des contraintes de stabilité. Les chercheurs disent qu’au moins un objet est soutenu par plusieurs objets. Image: gracieuseté des chercheurs.

Leur méthode a surpassé d’autres techniques dans de nombreuses expériences, générant un plus grand nombre de solutions efficaces qui étaient à la fois stables et sans collision.

À l’avenir, Yang et ses collaborateurs veulent tester la diffusion-CCSP dans des situations plus compliquées, comme avec les robots qui peuvent se déplacer dans une pièce. Ils veulent également permettre à la diffusion-CCSP de s’attaquer aux problèmes dans différents domaines sans avoir besoin d’être recyclé sur de nouvelles données.

«La diffusion-CCSP est une solution d’apprentissage automatique qui s’appuie sur des modèles génératifs puissants existants», explique Danfei Xu, professeur adjoint à l’École d’informatique interactive au Georgia Institute of Technology et chercheur à Nvidia AI, qui n’a pas été impliqué dans ce travail. «Il peut rapidement générer des solutions qui satisfont simultanément plusieurs contraintes en composant des modèles de contraintes individuels connus. Bien qu’il en soit encore dans les premières phases de développement, les progrès continus de cette approche tiennent la promesse de permettre des systèmes autonomes plus efficaces, sûrs et fiables dans diverses applications.»

Cette recherche a été financée, en partie, par la National Science Foundation, l’Air Force Office of Scientific Research, The Office of Naval Research, le MIT-IBM Watson AI Lab, le MIT Quest for Intelligence, le Center for Brains, Minds et Machines, Boston Dynamics Artificial Intelligence Institute, The Stanford Institute for Human Centered Intelligence, Analogue, ANOLICES, JPMORGAN et CO., et les ventes.