De la réalité augmentée à la réalité mixte

News internet du 27 jan 2010

En 2009, les applications de réalité augmentée (Layar, Wikitude…) ont été à la mode, comme l’a rappelé de nombreux articles du ReadWriteWeb, qui a fait de la réalité augmentée l’une des tendances de l’année 2009. Les applications ludiques, accessibles via l’iPhone, ont commencé à conquérir le grand public, comme le résume très bien la longue liste des succès dressée par Ori Inbar de l’excellent Games Alfresco, dont les drones de Parrot dévoilé au récent CES sont certainement le dernier emblème en date (vidéo).

Les limites de la réalité augmentée

Bien que peu nombreuses, les critiques n’ont pas manqué sur ces systèmes. Chris Dannen n’a pas été tendre avec la réalité augmentée : “celle-ci n’améliore pas l’expérience utilisateur, au contraire, elle l’a complique !”, s’énervait-il. Layar ne changera pas nos vies, expliquait-il, en soulignant qu’on ne lit pas un magazine face à sa caméra d’ordinateur, pas plus qu’on ne marchera pas dans la rue avec nos mobiles tendus sous nos yeux. Les spécialistes du sujet eux-mêmes, lors de la conférence EmTech rapportée par la Technology Review, concèdent que “l’application tueuse” va être difficile à trouver. Il faut reconnaître que la réalité augmentée, qui ne fait que projeter des données virtuelles sur une représentation du monde réel, a de nombreuses limites, comme le signalent bien des observateurs :

limites sur les terminaux : nos téléphones sont encore limités pour ce type d’interaction et si les lunettes de réalité augmentée ou les solutions de projections commencent à être abordables (comme celles de 3DVisor), elles n’ont pas encore atteint le grand public ;
limites sur la qualité des données de géolocalisation et d’orientation de nos mobiles qui n’ont pas été conçus pour la RA ;
limites sur l’acceptation sociale de la réalité augmentée : pas sûr que nous voulions tous être regardés demain via des téléphones qui disent de nous des choses que l’on ne voit pas, comme l’explicite en réaction le projet TAT… (vidéo)

Dans le domaine des réalités alternatives, sans vouloir quantifier les niveaux de réalité possible, comme nous met en garde Philippe Quéau, c’est l’hybridation entre le réel et le virtuel qui semble la plus intéressante à observer. Celle qu’on appelle la réalité mixte, qui permet à des objets et personnes réelles et virtuelles de coexister et interagir dans l’environnement de l’autre en temps réel.

Les promesses de la réalité mixte

Les passerelles permettant au monde virtuel de comprendre ce qu’il se passe dans le réel ou au monde réel d’agir sur le monde virtuel sont essentielles. Cependant, beaucoup d’expérimentations travaillent dans un sens ou dans l’autre.

Déclencher des actions dans le monde réel
C’est l’intérêt des dispositifs types Arduino. Grâce à des objets commandés via l’internet, les avatars peuvent déclencher des actions dans le monde réel. Jungho Yeom, du Laboratoire d’intelligence ambiante de l’université nationale de Singapour, a ainsi développé un système permettant à un avatar touchant un objet de déclencher un éclairage réel (vidéo). Un autre développeur utilise Arduino pour commander un ascenseur dans Second Life (SL) et allumer des Leds au-dessus de son écran d’ordinateur pour lui indiquer quand quelqu’un entre dans sa maison virtuelle sur SL (vidéo).

Communication Between Second Life and Arduino from Jungho YEOM on Vimeo.

Plus impressionnants sont les travaux d’Adrian David Cheok du Laboratoire de réalité mixte de l’université nationale de Singapour, comme ces Huggy Pajamas (voir le site dédié et la présentation vidéo). Ce système consiste en une veste haptique qui permet à un parent distant de reproduire via l’internet une embrassade : le pyjama est doté de poches d’air qui se gonflent pour simuler l’embrassement, d’un système thermique pour simuler le réchauffement que produit le câlin… (voir la présentation vidéo sur Discovery Science Channel). Une veste qu’Adrian David Cheok imagine pouvoir adapter aux jeux vidéos, comme il l’explique dans une autre vidéo de Discovery Science Channel. Celui-ci projette d’ailleurs d’aller plus loin et réfléchit à un système robotique de lèvres permettant de simuler le baiser à distance.

Permettre aux mondes virtuels de comprendre le réel
D’autres travaux au contraire s’appliquent à permettre au monde virtuel de comprendre le réel. C’est le cas par exemple des travaux du Visual Media Lab de l’université Ben Gourion en Israël, relayés par Games Alfresco. Ici, il suffit de tracer quelques lignes sur le papier pour que les dessins soient reconnus par le système via une caméra et prennent aussitôt formes dans la réalité virtuelle (vidéo).

La réalité mixte pour offrir une expérience complète

Mais l’avenir de ces systèmes est qu’ils s’interpénètrent. Que les relations entre le réel et le virtuel soient toujours plus fluides.

C’est ce que montre le Centre de recherche technique VTT en Finlande, où toute une équipe travaille à de nombreux projets de réalité mixte. Parmi ceux-ci, le laboratoire travaille à un intéressant programme de téléconférence en réalité mixte. MRConference est une application de téléconférence qui utilise des technologies de réalité augmentée pour afficher des avatars virtuels dans des espaces physiques et réels, et inversement. Mais surtout, l’application permet, via des casques de réalité augmentée et une diversité de capteurs (caméra, QR Code…) de capturer des expressions réelles pour contrôler des avatars (il suffit de faire un geste de la main ou de la tête pour que votre avatar le reproduise par exemple) ou déplacer d’un mouvement d’une main réelle des objets 3D, voir de permettre à des avatars d’actionner la représentation d’objets réels (vidéos : premier exemple, second exemple (.wmv)).

Comme le dit très bien Hugobiwan Zolnir, l’un des animateurs de la communauté Second Life francophone, c’est l’expérience qu’on en fait qui donne de la réalité à un environnement, qu’il soit réel ou/et virtuel. L’avantage de la réalité mixte est justement “qu’elle rompe avec l’opposition des signes physiques et numériques pour concevoir des espaces mixtes offrant une expérience complète.

L’espace de réalité mixte que constitue l’expérience finlandaise montre bien “un espace conçu pour que ceux qui s’y trouvent physiquement et virtuellement puissent partager leurs signes (parler par exemple), des stimulus sensoriels, la perception d’objets, une capacité d’action sur un environnement commun.”