Les expressions faciales pourraient aider à élargir les options d’accessibilité VR et AR

Une nouvelle étude sur la façon dont les ordinateurs peuvent être contrôlés avec précision en utilisant uniquement des expressions faciales pourraient aider à rendre les technologies de réalité augmentée (AR) et de réalité virtuelle (VR) plus accessibles aux personnes ayant des handicaps.

Des chercheurs de l’Université de Glasgow et de l’Université de St. Gallen en Suisse ont découvert que sept mouvements faciaux simples pourraient être reconnus de manière fiable par le casque Quest Pro de Meta, permettant aux utilisateurs de contrôler un jeu VR et de naviguer dans les pages Web dans un environnement AR.

Les résultats pourraient permettre aux casques VR largement disponibles d’offrir aux personnes vivant avec handicap de nouvelles façons d’interagir avec les ordinateurs, ainsi que d’élargir les options de contrôle mains libres disponibles pour chaque utilisateur.

Au cours de l’étude, qui sera présentée comme un document lors de la conférence du CHI 2025 plus tard ce mois-ci, les chercheurs ont demandé à 20 volontaires non handicapés d’essayer de déplacer leurs visages pour correspondre aux 53 expressions déjà reconnues par le logiciel de Quest Pro.

Ces expressions, appelées unités d’action faciale ou FAU, sont généralement ramassées par les caméras embarquées du casque pour traduire le monde réel expressions faciales dans des environnements virtuels dans des environnements en ligne.

Les volontaires ont été invités à effectuer chaque expression trois fois, tenant la pose faciale pendant trois secondes à la fois. Ils ont évalué chaque expression pour le confort, la facilité d’utilisation et la façon dont ils sentaient bien qu’ils l’ont exécuté.

Les tests ont montré que sept FAUS qui mettaient en évidence différentes zones du visage ont fourni l’équilibre optimal entre être reconnu de manière fiable par le casque et être confortable pour que les utilisateurs se répétent régulièrement. Ils ouvraient la bouche; pliant les yeux gauche et droit; Pouffler la joue gauche et droite et tirer les bords de la bouche de chaque côté.

Le Dr Graham Wilson, de l’école des sciences informatiques de l’Université de Glasgow, est l’un des auteurs de l’article. Il a déclaré: « Certains ont suggéré que la réalité virtuelle est une technologie intrinsèquement capable car elle oblige souvent les utilisateurs à effectuer des mouvements de main dextères avec des contrôleurs ou à faire des mouvements du corps entier que tout le monde ne peut pas effectuer confortablement.

« Avec cette étude, nous étions désireux d’explorer si les fonctions d’un casque VR disponible commercialement pouvaient être adaptées pour aider les utilisateurs à contrôler avec précision les logiciels en utilisant uniquement leur visage. Les résultats sont encourageants et pourraient aider à pointer de nouvelles façons d’utiliser la technologie non seulement pour les personnes ayant des handicaps, mais plus largement. »

Pour tester l’efficacité des sept mouvements faciaux identifiés par l’équipe, les chercheurs ont construit leur propre modèle de réseau neuronal pour lire les expressions capturées par la quête Pro avec une précision de 97%.

Ensuite, ils ont demandé à 10 volontaires non handicapés d’utiliser le casque pour effectuer deux tâches différentes, représentant des cas d’utilisation futurs typiques pour le système. Tout d’abord, les bénévoles ont utilisé des expressions faciales pour tourner, sélectionner des options et tirer des armes dans un environnement de jeu VR. Ensuite, ils ont utilisé leurs visages pour faire défiler, sélectionner et naviguer dans les pages Web dans un environnement AR. Dans les deux cas, ils ont également utilisé des contrôleurs VR portables traditionnels pour comparer les expériences.

Les participants ont indiqué que, bien que les contrôleurs offraient des contributions plus précises pour les jeux, en utilisant des expressions faciales à la place bien fonctionnant, offrant un niveau de contrôle utile sans nécessiter un effort excessif. Ils ont également trouvé que l’expérience de navigation Web était simple et intuitive, et montrait une grande volonté d’utiliser la contribution faciale à l’avenir.

Le Dr Mark McGill, co-auteur de l’article de la Science des sciences de l’informatique de l’Université de Glasgow, a déclaré: « Il s’agit d’une étude relativement petite, basée sur des données capturées à l’aide de personnes non handicapées. Cependant, il montre clairement que ces sept mouvements faciaux spécifiques sont probablement les moyens que nous pourrions s’attendre à utiliser plus de matériel traditionnel et à traduire des méthodes de contribution à deux des deux des méthodes typiques.

« Cela nous donne une base sur laquelle s’appuyer dans les recherches futures. Nous prévoyons de travailler avec des personnes handicapées telles que les troubles moteurs ou les troubles musculaires dans d’autres études pour fournir aux développeurs et aux plateformes XR de nouvelles suggestions sur la façon dont ils peuvent étendre leur palette d’options d’accessibilité et les aider à se libérer des contraintes de main-d’œuvre et de contrôleur. »

Les applications potentielles de la recherche vont plus loin que l’expansion de l’accessibilité. Dans l’article, les chercheurs soulignent également comment l’activation des casques d’utiliser le contrôle d’expression faciale pourrait aider les utilisateurs à effectuer plus confortablement une gamme de tâches quotidiennes. Ils suggèrent que les utilisateurs pourraient contrôler les lunettes AR tout en marchant avec les mains pleines, lors de la cuisson, ou lors de l’exécution de tâches nécessitant des mains propres. Cela pourrait également aider les utilisateurs à un contrôle plus discret des appareils lorsqu’ils sont dans les espaces publics.

L’équipe a également rendu leur ensemble de données disponible librement en ligne pour encourager d’autres chercheurs à explorer leurs propres utilisations potentielles du FAUS identifié comme le plus utile pour le contrôle facial des logiciels.

L’équipe papierintitulé « Interface: l’établissement d’un vocabulaire d’entrée d’unité d’action faciale pour les interactions de réalité étendue mains libres, du jeu VR à la navigation sur le web », sera présenté au Conférence Chi à Yokohama, au Japon, le lundi 28 avril.