Notre visage peut ouvrir un smartphone, permettre l’utilisation d’un développement sûr et sécurisé et accélérer le contrôle des passeports dans les aéroports internationaux, en vérifiant notre identification à de nombreuses fins. Un groupe international d’experts d’Australie, de Nouvelle-Zélande et d’Inde a maintenant porté la technologie de réputation faciale à un autre niveau, en utilisant l’expression d’une personne pour manipuler des objets dans un environnement de réalité virtuelle sans utiliser de contrôleur portable ou de pavé tactile. Dans une première étude mondiale dirigée par le Dr Arindam Dey, spécialiste de l’université du Queensland, des experts en interaction homme-machine ont utilisé des techniques de manipulation neuronale pour capter le sourire, le froncement des sourcils et la mâchoire serrée d’une personne et ont utilisé chaque expression pour déclencher des mesures particulières dans des environnements de réalité virtuelle. « La principale motivation de cette fonction a été de rendre le métavers plus accessible et inclusif », déclare le Dr Dey. « Dans le même temps, l’expression du visage peut également être utilisée pour permettre des interactions telles que les baisers et la prise d’air à l’intérieur des environnements virtuels de manière beaucoup plus réaliste qu’actuellement. » L’un des experts impliqués dans l’expérience, le professeur Tag Billinghurst du College of Southern Australia, affirme que le système continue d’être conçu pour identifier diverses expressions faciales à l’aide d’un casque EEG. « Un sourire a été utilisé pour déclencher la commande de déplacement, un froncement de sourcils pour la commande d’arrêt et une crispation pour la commande d’action, à la place d’une commande portable effectuant ces actions », explique le professeur Billinghurst. « Essentiellement, nous capturons des expressions faciales typiques telles que la colère, la joie et le choc et nous les appliquons dans une atmosphère de réalité virtuelle. » Ils ont conçu 3 environnements numériques — satisfait, naturel et effrayant — et ont mesuré l’état cognitif et physique de chaque personne pendant qu’elle était immergée dans chaque scénario. En reproduisant 3 expressions faciales courantes — un sourire, un froncement de sourcils ainsi qu’une crispation — ils ont exploré si des changements dans l’environnement déclenchaient l’une des trois expressions, en fonction des réponses émotionnelles et physiques. Par exemple, dans l’atmosphère de satisfaction, les clients devaient se déplacer dans une aire de loisirs pour attraper des papillons à l’aide d’un filet. L’utilisateur se déplaçait lorsqu’il souriait et s’arrêtait lorsqu’il fronçait les sourcils. Dans l’environnement naturel, des personnes devaient déplacer un atelier pour ramasser des produits éparpillés un peu partout. L’os de la mâchoire serrée a provoqué une action – dans ce cas, récupérer chaque objet – tandis que les instructions de début et de fin de mouvement ont été déclenchées par un sourire et un froncement de sourcils. Exactement les mêmes expressions faciales ont été employées dans l’atmosphère effrayante, dans laquelle les individus naviguaient dans une fondation souterraine pour tirer sur des zombies. « Dans l’ensemble, nous nous attendions à ce que les contrôleurs portables donnent de meilleurs résultats parce qu’il s’agit d’une technique beaucoup plus intuitive que l’expression faciale, mais les individus ont déclaré se sentir beaucoup plus immergés dans les rencontres RV contrôlées par les expressions faciales. » Le professeur Billinghurst affirme que se fier aux expressions faciales à l’intérieur d’un environnement RV est un travail difficile pour le cerveau, mais offre aux clients une expérience bien plus pratique. « J’espère qu’avec quelques études supplémentaires, nous pourrons le rendre beaucoup plus facile à utiliser », déclare-t-il. En plus d’offrir une manière innovante d’utiliser la RV, la procédure permettra également aux personnes handicapées – y compris les amputés et les personnes atteintes de la maladie du neurone moteur – d’avoir une interaction mains libres dans la RV, sans avoir à utiliser des contrôleurs créés pour les personnes complètement handicapées. Selon les experts, ces technologies pourraient également être utilisées en complément des contrôleurs portables, où l’expression du visage constitue un type de connexion plus naturel.