Advance Ai incarné AI: Comment Meta apporte le toucher et la dextérité de type humain à l’IA

L’IA a parcouru un long chemin dans la perception visuelle et le traitement du langage. Cependant, ces capacités ne sont pas suffisantes pour construire des systèmes qui peuvent interagir avec le monde physique. Les humains gèrent les objets ou font des mouvements contrôlés en utilisant le sens du toucher. Nous ressentons la texture, la température de détection et le poids de la jauge pour guider chaque action avec précision. Cette rétroaction tactile nous permet de manipuler des éléments fragiles, d’utiliser des outils avec le contrôle et d’effectuer des tâches complexes en douceur.

Meta, bien connu pour son travail dans la réalité virtuelle et augmentée, relève maintenant le défi de créer une IA qui peut interagir avec le monde physique un peu comme un humain. Grâce à son initiative de robotique équitable, Meta développe des outils et des cadres open source pour améliorer le sens du toucher et de l’agilité physique des robots. Ces efforts pourraient conduire au développement d’une IA incarnée – des systèmes qui ne voient pas seulement mais qui peuvent aussi ressentir et manipuler des objets comme le font les humains.

Qu’est-ce que l’IA incarnée?

AI incarné combine l’interaction physique avec l’intelligence artificielle, permettant aux machines de sentir, de répondre et de s’engager naturellement dans leur environnement. Au lieu de simplement «voir» ou «entendre» les entrées, il permet aux systèmes d’IA de sentir et agir dans le monde. Pensez à un robot qui peut détecter la pression qu’elle s’applique à un objet, ajuster sa poignée et se déplacer avec l’agilité. L’IA incarnée déplace l’IA des écrans et des haut-parleurs dans le monde physique, ce qui le rend capable de manipuler des objets, d’exécuter des tâches et d’interagir plus de manière significative avec les gens.

Par exemple, un robot construit sur une IA incarnée pourrait aider une personne âgée à ramasser des articles fragiles sans les endommager. Dans les soins de santé, il pourrait aider les médecins en détenant des instruments précisément pendant la chirurgie. Ce potentiel s’étend bien au-delà des bras robotiques en laboratoires ou en armes automatisées dans les usines; Il s’agit de créer des machines qui comprennent et réagissent à leur environnement physique en temps réel.

L’approche de la méta envers l’IA incarnée

Meta se concentre sur Trois zones clés Pour rapprocher l’IA incarné de la touche humaine. Premièrement, la société développe des technologies de détection tactile avancées qui permettent aux machines de détecter des choses comme la pression, la texture et la température. Deuxièmement, Meta crée des modèles de perception tactile qui permettent à l’IA de comprendre et de réagir à ces signaux. Enfin, Meta construit une plate-forme de développement tactile qui intègre plusieurs capteurs à ces modèles de perception, offrant un système complet pour construire une IA compatible tactile. Voici comment Meta stimule les progrès dans l’IA incarnée dans chacune de ces domaines.

Meta Digit 360: détection tactile de niveau humain

Meta a introduit Digit 360 du doigtune technologie de détection tactile conçue pour donner à l’IA incarné un sentiment de contact humain. Avec plus de 18 caractéristiques de détection, il peut détecter les vibrations, la chaleur et même les produits chimiques sur les surfaces. Équipé d’une puce AI, les processus du bout des doigts touchent instantanément les données, permettant des réponses rapides à des entrées comme la chaleur d’un poêle ou le coup pointu d’une aiguille. Cette technologie agit comme un «système nerveux périphérique» au sein de l’IA incarnée, simulant des réponses réflexives similaires aux réactions humaines. Meta a développé ce doigt avec un système optique unique contenant plus de 8 millions de taxels qui peuvent capturer le toucher sous tous les angles. Il détecte de minuscules détails, jusqu’à des forces aussi petites qu’un Millinewton, donnant à l’IA incarné une sensibilité finement réglée à leur environnement.

Meta Sparsh: la fondation de la perception tactile

Meta améliore les capacités de perception du toucher pour aider l’IA à comprendre et à répondre aux sensations physiques. Nommé d’après le mot sanskrit pour «toucher», Lot agit comme un «cerveau tactile» pour l’IA incarnée. Le modèle permet aux machines d’interpréter des signaux tactiles complexes comme la pression et l’adhérence.

L’une des fonctionnalités remarquables de Sparsh est sa polyvalence. Les systèmes tactiles traditionnels utilisent des modèles distincts pour chaque tâche, en s’appuyant fortement sur les données étiquetées et les capteurs spécifiques. SPARSH modifie entièrement cette approche. En tant que modèle à usage général, il s’adapte à divers capteurs et tâches. Il apprend des modèles tactiles en utilisant Apprentissage auto-supervisé (SSL) Sur une base de données massive de plus de 460 000 images tactiles, sans avoir besoin de données étiquetées.

Meta a également introduit Tacbench, une nouvelle référence avec six tâches tactiles pour évaluer les capacités de SPARSH. Meta affirme que SPARSH a surpassé les modèles traditionnels de 95,1%, en particulier dans les scénarios de faible données. Les versions de SPARSH construites sur les architectures I-Jepa et Dino de Meta ont démontré des capacités remarquables dans des tâches telles que l’estimation de la force, la détection de glissement et la manipulation complexe.

Plexus Meta Digit: une plate-forme pour le développement du système tactile

Meta a introduit Digit Plexus pour intégrer les technologies de détection et les modèles de perception tactile pour créer un système d’IA incarné. La plate-forme combine les capteurs du bout des doigts et des palmiers dans une seule main robotique pour permettre des réponses tactiles plus coordonnées. Cette configuration permet d’incarner l’IA de traiter les commentaires sensoriels et d’ajuster ses actions en temps réel, comme la façon dont une main humaine bouge et réagit.

En standardiquant les commentaires tactiles sur la main, Plexus de chiffres Améliore la précision et le contrôle de l’IA incarnée. Cette évolution est particulièrement vitale dans des domaines comme la fabrication et les soins de santé, où une manipulation minutieuse est essentielle. La plate-forme relie des capteurs comme le bout des doigts et respecte un système de contrôle, rationalisant la collecte, le contrôle et l’analyse des données, le tout à travers un seul câble.

Meta publie les conceptions de logiciels et de matériel pour Digit Plexus à la communauté open source. L’objectif est de favoriser la collaboration et d’accélérer les recherches dans une IA incarnée, de stimuler l’innovation et les progrès dans ces domaines.

Promouvoir la recherche et le développement de l’IA incarnés

Meta fait progresser non seulement la technologie, mais aussi les ressources pour promouvoir la recherche et le développement de l’IA incarnées. Une initiative clé est le développement de repères pour évaluer les modèles d’IA. Une telle référence, Partnr (Planification et tâches de raisonnement dans la collaboration par l’homme-robot), évalue comment les modèles d’IA interagissent avec les humains pendant les tâches ménagères. En utilisant le simulateur Habitat 3.0, Partnr fournit un environnement réaliste où les robots aident à des tâches comme le nettoyage et la cuisine. Avec plus de 100 000 tâches basées sur le langage, il vise à accélérer les progrès dans l’IA incarnée.

Outre les initiatives internes, Meta collabore avec des organisations comme Gelsight Inc. et Robotique wonik pour accélérer l’adoption des technologies de détection tactile. Gelsight distribuera des capteurs Digit 360, tandis que Wonik Robotics fabriquera la main Allegro, qui intègre la technologie Digit Plexus. En mettant ces technologies disponibles via des plateformes et des partenariats open-source, Meta aide à créer un écosystème qui pourrait conduire à des innovations dans les soins de santé, la fabrication et l’assistance domestique.

La ligne de fond

Meta fait progresser l’IA incarnée, le dépassant au-delà de la vue et du son pour inclure le sens du toucher. Avec des innovations comme Digit 360 et SPARSH, les systèmes d’IA gagnent la capacité de ressentir et de répondre à leur environnement avec précision. En partageant ces technologies avec la communauté open source et en s’associant à des organisations clés, Meta aide à accélérer le développement de la détection tactile. Ces progrès pourraient entraîner des percées dans des domaines comme les soins de santé, la fabrication et l’assistance à domicile, ce qui rend l’IA plus capable et réactif dans les tâches du monde réel.