 |
Premières
rencontres européennes de
la Ville numérique de démain
La ciudad digital del futuro, 12 de mayo de 2003 Jornada Organizada Por : |
MIXED 3D - Écrans et interactions 3D pour applications multimédia 1
Sylvain
Renault
Présentation générale
Le Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut ’institut de la Fraunhofer, le Heinrich-Hertz-Institut (Berlin, Allemagne), développe des écrans et des espaces méthodes d’interaction qui permettent à l’utilisateur de communiquer avec l’ordinateur d’une façon naturelle : les objets virtuels des applications de la réalité mixe (« Mixed Reality » - une progression des systèmes VR conventionnels) deviennent pratiquement « touchables ».
Pour cela un écran hybride combinant les nouveaux écrans 3D du HHI (autostéréoscopique, c'est à dire sans port de lunettes spéciales) avec les affichages 2D traditionnels de la catégorie TFT donne naissance à un nouveau mode de travail interactif. Le système fonctionne idéalement avec la « HHI Workbench » (logiciel) qui permet de visualiser et manipuler les objets virtuels d’une manière très agréable. Afin de démontrer le système dans divers domaines spécialisés (architecture, médecine, CAD etc.), une coopération avec la « Gesellschaft zur Förderung angewandter Informatik » (GFaI) a été établie. Le temple Nobugana de Gifu (Japon) reconstruit sur PC (une coopération interculturelle allemande japonaise) peut alors être admiré dans toute sa splendeur en 3D.
Nos laboratoires multimédia ont également élaboré un écran 3D autostéréoscopique lenticulaire sur lequel est visualisé entre autre un logiciel compatible MPEG-7 qui permet de faire des recherches d’images ou de photographies dans l’espace 3D. La tête de l’utilisateur est pistée en continu par un système LED afin que l’écran puisse être adapté à sa position. Une coopération avec le constructeur de display A.C.T. Kern GmbH & Co. KG a été conclue pour commercialiser l’écran.
Un modèle plus élaboré, nommé « Free2C », permet à l’utilisateur de se déplacer non seulement latéralement mais aussi de s’éloigner de l’écran alors que celui-ci s’auto-ajusteauto-ajuste. Un système de pistage de la tête par caméra vidéo infrarouge envoie les signaux de position directement à l’écran. Le logiciel peut aussi utiliser ce signal pour adapter la perspective des objets.
L’écran « HybridDisplay »
L’écran
hybride actuel (un autre écran - plus grand - est en construction) contient
un écran d’accommodation d’une résolution de 1024 fois 768 points par œil et
possède en plus 2 écrans conventionnels TFT pour les informations qui ne demandent
pas une vue 3D (photo 1). Les objets visualisés dans l’espace flottent réellement
devant l’écran et ont une qualité et brillance extraordinaire qui rappellent
celle d’une holographie futuriste. La stéréoscopie est très conviviale et
l’utilisateur peut « toucher » l’objet sans peine.
(photo 1)
La distance d’accommodation et de convergence de l’objet synthétisé est identique à celle de l’outil réel de travail. L’espace de perception et l’espace d’action sont donc identiques : le conflit visuel est éliminé (plus d’image floue ou de malaise). Ce système devient adéquat pour un travail interactif dans la réalité mixe, par exemple pour la diagnose en médecine, pour la construction 3D, pour la chimie moléculaire , la médecine ou bien tout simplement pour des systèmes multimédia de diverses configurations (kiosk, centre d’infos etc.). Le prototype construit à Berlin permet de démontrer le fonctionnement de base de l’écran d’accommodation.
L’interaction
entre l’utilisateur et le virtuel se fait avec la main (sans port de gant) :
deux caméras, intégrées dans la table, observent en continu les mouvements de
la main. Le système envoie les coordonnées de la main à la scène 3D qui définit
ensuite les points de collision. Avec un appareil (supplémentaire) à force feedback
mécanique, il est en plus possible d’explorer la surface des objets ou bien
de créer des forces physiques (gravitation, vibration…). L’interface 3D de la
« HHI Workbench » permet parfaitement la programmation de telles
forces. Le système à force nommé PHANToM™ a été développé au MIT (USA) et est
commercialisé par la firme SensAble Technologies (voir Photo 2)
L’écran « Free2C »
L’écran « Free2C » est un écran autostéréoscopique qui a un angle de vue très grand et une excellente qualité et brillance de l’information 3D. Le placement d’objets dans l’espace 3D ne cause aucun problème, même dans les profondeurs extrêmes. Les applications peuvent donc utiliser un grand volume trois dimensionnel pour visualiser leurs informations 3D. Par exemple il est possible de placer et déplacer les informations dans l’espace selon leur importance, leur âge ou bien de catégoriser et de trier l’information afin que l’utilisateur puisse rapidement aboutir à la solution d’un problème complexe. Le domaine d’utilisation de cet écran n’est pas limité aux applications scientifiques ou multimédia, il permet aussi la visualisation de matériaux vidéo en 3D : caméras stéréoscopiques, filmes 3D, simulations et manipulations de photographie en 3Detc.
Le
système de pistage de la tête intégré en haut de l’écran (photo 3) calcule la
position de l’utilisateur grâce à une caméra vidéo. Le panneau lenticulair et
pourra alors se déplacer légèrement pour rapidement redonner une image claire
et nette à celui-ci, sans qu’il soit dérangé par la mécanique. On peut alors
bouger la tête sans perdre l’effet de relief. De plus, la « HHI Workbench »
peut transformer la position calculée en informations 3D et changer la perspective
de la scène virtuelle, dynamiquement et en temps réel. L’ordinateur peut donc
assister la personne dans son travail quotidien, c’est-à-dire qu’il pourra réagir
à diverses situations tout à fait indépendamment sans que l’utilisateur doive
faire quoi que ce soit. Les objets peuvent par exemple s’orienter directement
vers l’utilisateur ou bien changer d’aspect selon les mouvements et la position
de l’utilisateur en face de l’écran (comportements, saccades ou bien détournements
de tête etc.)
Photo 3 : Écran 3D « Free2C »