La ciudad digital del futuro 12 de mayo de 2003 Jornada Organizada Por : Ayuntamiento de Logroño Réseau européen des Villes Numériques ARENOTECH

MIXED 3D - 2 suite Sylvain Renault

Les traceurs vidéo

Le Fraunhofer HHI s’est aussi spécialisé dans le développement de systèmes de détection de la tête, des yeux et des mains. Ces systèmes peuvent être intégrés - indépendamment des écrans 3D – dans diverses applications où un mode de travail naturel est souhaitable (système autonome, kiosk, touchscreen virtuel etc.). Le port d’appareils supplémentaires n’est pas nécessaire (gant, marquage de la tête, lunettes spéciales) car tous nos ses systèmes utilisent des caméras à infrarouge et « observent » donc l’utilisateur à distance, de jour comme de nuit.

a) La position de la tête :

Le « Head Tracker » détecte les yeux de l’utilisateur et calcule la position réelle de sa tête (œil cyclope) par rapport au centre de l’écran à une fréquence de 120 Hz (position x, y, z en millimètre, voir photo 4). La calibration du système se fait automatiquement par clignement naturel des yeux. Ensuite le logiciel est actif et il réagit au moindre mouvement de la personne face à l’écran. Cette commande visuelle peut être utilisée pour ajuster, positionner, orienter, transformer ou bien aussi réarranger l’information visualisée, par rapport au positionnement de l’utilisateur.

Le calcul de l’angle du regard est réalisé par le logiciel « eyeReader » (photo 5). Celui-ci détecte l’angle grâce à l’analyse de la pupille : la pupille est prise en vue par une caméra infrarouge qui permet au logiciel de détecter les reflets de la source infrarouge sur la surface de l’oeil. Ces points lumineux restent fixes par rapport à la caméra même si la pupille se réoriente sur l’écran. De ce fait le vecteur optique peut être calculé et l’ordinateur peut en déduire l’endroit que que fixe l’utilisateur. La souris peut ensuite - par exemple - se déplacer par le biais du regard, comme par magie ! La calibration du « eyeReader » est simple et une grande précision est garantie grâce à une caméra à très haute résolution. Les commandes peuvent être enclenchées après confirmation vocale ou aussi par clavier. Le regard est intuitif et rapide et ne demande aucun apprentissage car il est un moyen naturel de communication (attention, intérêt, désir, attitude).

Les domaines d’utilisation sont là aussi très divers : statistique, science, commande visuelle sans contact avec l’appareil à contrôler, navigation dans l’espace multimédia, assistance à la souris conventionnelle etc.

Photo 5 : Calcul de l’angle du regard

c) Les gestes de la main :

Avec le « Hand Tracker » (photo 6), les objets virtuels ou bien les éléments de la surface graphique 2D (conventionnels) peuvent être manipulés intuitivement avec la main, par exemple déplacés, agrandis ou activés. Les doigts de la main sont saisis par deux caméras stéréo infrarouge s. Le système livre aussi les gestes de la main (index, poing, main ouverte, main fermée, index, etc.). Ainsi , chacun peut sans grand entraînement communiquer avec le système interactif où l’espace 3D se transforme en un « touchscreen  » virtuel trois dimensionnel. Montrer un objet du doigt sur l’écran devient un jeu d’enfant !

L’interface graphique

De nos jours, il est primordial d’intégrer différentes technologies sous une interface d’utilisateur graphique flexible qui permette un maniement simple des possibilités présentes et à venir. La « HHI Workbench » (photo 7) a été conçue dans ce propre but et sert de base au développement de systèmes multimodaux et multimédia. Le logiciel a une interface de programmation (API) simple et fonctionne sous .NET (la nouvelle plateforme de Microsoft^®). La Workbench intègre les divers systèmes de visualisation du HHI et ses divers pisteurs ainsi que la technologie Direct3D ou OpenGL, le son environnemental 3D et la communication entre plusieurs système (« cluster »).

Photo 7

Chaque traceur vidéo peut être combiné (selon besoin) l’un avec l’autre. En utilisant toutes ces modalités d’interaction en parallèle, l’ordinateur peut réellement « voir » l’utilisateur et prendre en compte tous ses mouvements pour l’assister dans son travail ou dans son activité multimédia. De plus, les applications développées sous la Workbench peuvent être facilement adaptées à d’autres besoins car elles se partagent diverses ressources spécialement élaborées pour la conception de démonstrateurs (voir photos 8 et 9) : (explorateurs, visualisations 2D et 3D, management de listes favorites, contrôleurs, configurateurs…

Applications pour la réalité mixe

Les activités sur ordinateur demandent de plus en plus une intégration technologique dans le domaine de la multimédia : les écrans grandissent, les périphéries deviennent standard, les coûts baissent. Dans beaucoup de domaine s, il n’est plus possible de se séparer de son système informatique pour résoudre les problèmes quotidiens. La « Mixed Reality » trouve surtout son application dans les étapes de travail où il est important de visualiser les informations dans l’espace 3D. La troisième dimension apporte - grâce aux écrans 3D - une qualité supérieur e de travail parce que l’utilisateur pourra mieux analyser et gérer l’information. La liste suivante contient les domaines d’application qui profiteront des technologies multimodales et multimédia 3D :

• Construction, aéronautique, architecture, conception, biologie, médecine
• Télémanipulation, travail en groupe, organisation de l’information
• Entraînement, apprentissage, simulation
• Divertissement, jeux, éducation E-commerce, kiosk, présentation
• Etc.

Conception de multimédia de demain

Résumé

Les systèmes multimédia actuels se composent de menus et fenêtres, se laissent manier avec la souris et permettent une saisie sur clavier. Pour permettre un traitement simple et rapide des énormes sources d’information que l’utilisateur doit gérer, il est nécessaire de modifier les modalités de communication avec celui-ci. L’information devient de plus en plus visuel le et auditi ve  : les images et les vidéos sont envoyés à grande vitesse sur l’Internet, les documents sont publiés électroniquement, les  banques de données prennent l’ampleur de plusieurs téraoctets. Recourir aux possibilités naturelles humaines permet à l’utilisateur de communiquer intuitivement avec les machines -  et aux machines de mieux comprendre l’intention de son utilisateur : la machine va enfin pouvoir s’adapter aux besoins de celui-ci. Les caméras vidéo utilisées dans les divers traceurs, pisteurs et détecteurs du Fraunhofer HHI servent oeil à la machine. L’espace 3D des écrans autostéréoscopiques du HHI défini un univers d’interaction où la machine et l’utilisateur peuvent agir en commun. En intégrant toutes les modalités de perception et d’action dans un système multimédia, la personne assise ou debout devant celui-ci pourrait voir en lui non plus une machine bête et compliquée mais bien un camarade virtuel, soi-disant un avatar !

Ces travaux sont subventionnés par la UE, par le ministère allemand de l’éducation et de la recherche (BMBF) ainsi que par la ville de Berlin. http://www.arentoech.org. Retour