Suivez le guide

Interfaces

Agents

Communautés digitales

Réalité mixte

Art et technologie

Perspectives

Adieu Japon!

Réalité mixte

Mixed Reality Systems Labs
http://www.mr-system.com/MR-index-e.html
Réalité augmentée & Virtualité augmentée

Ce laboratoire de recherche, créé en janvier 1997 pour une durée de 4 ans est financé à 50% par le Japan Key Technology Center (en fait ce sont les dividendes de NTT) et 50% par CANON. Il est composé de 26 chercheurs (tous de CANON sauf 1), la direction est entièrement composée de personnel de CANON.

Leur but, à travers des actions à court terme est de produire des résultats concrets (i.e. pouvant déboucher sur des produits) dans le domaine de la réalité mixte qui se décompose en deux approches :

  • réalité augmentée ;
  • virtualité augmentée.

Leur domaine de compétence va du hardware au software. Nous avons assisté à des présentations illustrant ces deux domaines. Dans le domaine du hardware, les efforts portent sur un casque de vision stéréoscopique, un système de restitution stéréoscopique sans lunette et sur des études psychologiques et physiologiques concernant l'usage de tels périphériques :

  • casque stéréoscopique : leur travail consiste à développer un système performant et léger utilisant deux afficheurs LCD et un système de prismes remplaçant les traditionnels miroirs et lentilles. L'intérêt majeur de ces prismes est un gain de poids notable et une simplification de la structure des lunettes. De plus un deuxième système de prisme permet d'ajouter la possibilité de combiner vision réelle et artificielle. 

    Démonstration : Air Hokey Game

    Cliquer pour agrandir Cette démonstration est réalisée sur le principe d'un jeu à deux joueurs dans lequel les joueurs doivent se lancer un palet qui glisse sur une table (table à air). Ici, le palet et la raquette sont virtuels, la table est réelle. Un système de caméra infrarouge capte les mouvements de la raquette (émetteur infrarouge), un capteur magnétique capte les positions et orientations de la tête de chaque joueur. La sensibilité de l'utilisateur à la latence est corrigée par un système de prédiction des trajectoires.

 

    Commentaire :

    Leur objectif est très clair, la difficulté de leur étude réside dans la conception des prismes. Une fois ces derniers réalisés, la production en quantité par CANON doit permettre d'obtenir un système intégré, peu onéreux qui va certainement, une fois commercialisé, faire un tabac ! (Dans la société, 10 des ingénieurs sont des spécialistes de l'optique provenant des labos de CANON).

    Au bout de quelques mois de travail ils ont réussi à en produire un qui fonctionne; nous avons essayé un de ces prototypes. Il est certainement perfectible mais nous ne doutons pas un seul instant qu'ils en soient capables rapidement.
     

  • Affichage 3D sans lunette : ils développent un écran de type lenticulaire dont le système de balayage est compatible avec les système de balayage Vidéo 3D.
  • Commentaire : le prototype était sur un salon CANON nous n'avons donc pas pu le voir.

  • Etude psychologiques et physiologiques : l'utilisation des périphériques immersifs (casques, lunettes, etc) posent des problèmes quant à leurs utilisations (mal des simulateurs, ...). A travers une collaboration avec plusieurs universités (Okaido, Tokyo et Sukuba), ils étudient, en situation, les effets des périphériques sur les utilisateurs.
  • Commentaire :

    Ce thème étant très récent nous n'avons pu obtenir de résultats concrets. Néanmoins, nous avons le sentiment que cette étude vient compléter remarquablement les autres et montre assez clairement la stratégie produit qui se dégage.
     

  • Head and Eyes Tracking : MR System développe aussi un casque permettant de faire de la désignation visuelle (utilisation du regard). Un casque contient un capteur permettant d'acquérir la position et l'orientation de la tête alors qu'une caméra montée sur le casque observe la position de la pupille (direction du regard). A travers une démonstration fondée sur les Flight Simulator de SGI, l'efficacité de la désignation par le regard ne fait pas de doute : head tracker + Eyes Tracker = carnage !
  • Commentaire :

    Ici aussi la stratégie est évidente : produire un périphérique peu couteux. En effet, technologiquement ce type de périphérique existe déjà et en particulier dans le domaine militaire (pilote de chasse). Néanmoins, MR System utilise pour effectuer la détection de la direction de visé (Eyes tracking), une petite caméra, développée par CANON, qui est déjà utilisée à l'intérieur d'un appareil photo pour repérer  la zone de l'image où l'utilisateur souhaite effectuer la mise au point. De plus, cet appareil photo actuellement commercialisé ne coûte que 500 $, ce qui en dit long sur le coût de la caméra !
     

  • Cyber Mirage : même démonstration qu'à l'université de Tokyo.

Commentaires généraux :

Cette sociéte est sur un créneau technique qui allie la réalisation de matériels et de logiciels dans un but de production de périphériques et d'applications mélangeant le réel et le virtuel.

Nous notons lors de cette visite la présence d'un système de restitution visuelle stéréoscopique à 3 écrans alimentés par une Onyx 2 Infinite Reality 3 pipes et 8 processeurs R10000 et transmis par 3 projecteurs Electrohome haute définition. Encore un superbe équipement qui est estimé à environ 4 MF.

Lors de la discussion, MR System nous a signalé qu'ils pensent passer d'une équipe de 26 à 45, que les prochaines embauches seront dans le domaine des logiciels graphiques et qu'ils sont prêts à accueillir des français (Post Doc, PhD, congés sabatiques) pour des périodes de 1 à 2 ans.

Le mot de la fin (Dr Hiroyuki Yamamoto) : "Technology is not enough, we need to seek applications"

Keio University - Naohito Okube
http://www.sfc.keio.ac.jp/index.en.html
Walk-through dans un environnement virtuel (San Marco)

Le professeur Okude nous a présente une superbe démonstration de navigation temps réel dans un environnement virtuel représentant le site du monastère de San Marco contenant les fresques de Fra Angelico (XVème siècle). Cette démonstation visuellement très impressionnante exploite de manière très intelligente une gamme d'outils logiciels et matériels fort bien intégrés : Alias/Wavefront, Multigen, Performer, OpenGL, Silicon Graphics Onyx Infinite Reality (3 Pipes graphiques). L'intérêt de la démonstration réside principalement dans la qualité des textures concernant les fresques (photographiées sur le site). En effet, afin d'obtenir une grande qualité de restitution visuelle, les textures sont de très grandes dimensions (jusqu'à 2048 par 2048 pixels).

La réalisation d'un tel projet représente environ 3 à 4 mois de travail de préparation (modélisation, développement des outils d'interaction et de navigation) et 3 à 4 semaines de finition.

Le professeur Okude nous a ensuite présenté une démonstration plus ancienne concernant la bible de Gutemberg en 3D (exemplaire appartenant à l'université de Keio) fondée sur le même principe (texture très précise et très réalistes pour la couverture et pour les pages)

Nous avons beaucoup apprécié cette démonstration/discussion. En effet, l'exploitation intelligente des technologies logicielles et matérielles procure si l'on s'en donne les moyens des résultats très encourageants et prometteurs.

Ce travail est plus à considérer comme un travail de réalisation et de développement qu'un travail de recherche. Néanmoins, la manière dont elle est réalisée (travail soudé d'une équipe) et le résultat produit constituent peut être une piste à explorer !

Keio University - Sachio Kubo
http://www.sfc.keio.ac.jp/index.en.html
Reconstruction virtuelle (Angkor)

Le professeur Kubo nous a montré ses travaux concernant le projet de modélisation du site d'Angkor sur lequel il travaille en collaboration avec l'UNESCO et l'EFEO (Ecole Franšaise d'Extrème Orient). Du fait des erreurs importantes constatées sur les relevés cartographiques, ce projet consiste à utiliser des techniques telles que le GPS différentiel (précision 1m) ou le GPS cinématique (précision 1cm) afin de reconstruire une géométrie réaliste. Néanmoins, la situation d'Angkor, partiellement intégré au sein d'une forêt dense, pose de nombreux problèmes de communication entre l'appareil de relevé et les satellites. L'approche effectivement utilisée consiste à combiner le GPS (lorsque cela est possible, les relevés lasers (précision 2cm) et des vues vidéo stéréoscopiques. Ce procédé a été utilisé sur une petite partie du site d'Angkor (200m x 200m) et a seulement nécessité 3 jours de relevés pour 2 personnes. Néanmoins le niveau de modélisations reste assez sommaire (peu de détails).

Une autre application similaire est la reconstruction (partielle) d'un quartier de Tokyo (Roppongi). L'objectif est de construire les blocs représentant les immeubles sur lesquels les textures obtenues sur le site réel (photographies) sont ensuite appliquées. Les données géographiques sont obtenues à partir de cartes comportant la hauteur approximative des immeubles (nombre d'étages).

Matsushita
http://www.panasonic.co.jp/panasonic-e.html
Studio virtuel

Cette réalisation effectue le mixage entre des images réelles (acteurs, ...) et des images d'environnements virtuels (décors) dans un contexte de production vidéo et télévisuelle. Le décor consiste en un modèle 3D texturé (contenant de plus des textures de radiosité : la variation d'éclairement sur l'environnement est simulé par un algorithme de radiosité qui produit des textures contenant les variations d'éclairage). L'intégration entre les images réelles et virtuelles est effectuée par une méthode fondée sur les cartes de profondeur. Cette intégration est réalisée par une série de cartes spécialisées (réalisées à partir d'un ASIC).

Bonne réalisation.

Page précédente | Page suivante