Les données graphiques tridimensionnels (3D) sont maintenant présentes dans de nombreuses applications, tels que les loisirs numériques, l’héritage culturel, l’architecture ou encore la simulation scientifique. Ces données deviennent de plus en plus riches et détaillées ; une scène 3D complexe peut ainsi contenir plusieurs millions de primitives géométriques, associées à divers attributs d’apparence tels que des cartes de textures, visant à reproduire un aspect de matériau réaliste, ainsi que des données d’animation.
La manière de consommer et de visualiser ces données 3D passe maintenant des écrans standards à la réalité virtuelle et mixte (VR / MR). La visualisation et l'interaction à 6 degrés de liberté avec une telle scène 3D complexe demeure une problématique non résolue, en particulier lorsque la scène est stockée sur un serveur distant ou lorsque le dispositif ou la technologie de visualisation possède une capacité de rendu limitée (ce qui est le cas en réalité virtuelle et augmentée). De fort problèmes de latence sont alors rencontrés, causés par le rendu et/ou le streaming de la scène sur le dispositif de visualisation.
L’objectif du projet est de proposer les algorithmes et outils permettant une visualisation interactive, dans ces contextes contraints (réalité virtuelle et augmentée, contenu 3D distant), avec une très haute qualité d’expérience utilisateur. La scène 3D étant visualisée au travers une fenêtre donnée (le viewport), le projet vise à optimiser l’affichage dans cette fenêtre en proposant (1) des outils de génération et de compression de niveaux de détails de haute qualité, (2) des métriques de qualité visuelle capable de prédire la qualité de ces niveaux de détails et de piloter les algorithmes de génération, (3) des modèles d’attention visuelle capable de prédire où l’observateur regarde, ou bien va regarder et ainsi sélectionner/filtrer les primitives et niveaux de détails. La grande originalité du projet réside
dans le fait qu’il va considérer des données 3D riches, intégrant non seulement des informations géométriques mais également des attributs d’apparence et d’animation.
Les outils proposés permettront de résoudre aussi bien les problèmes de latence de transmission, que les contraintes de rendu présentes en réalité virtuelle et augmentée. Le projet vise à proposer deux prototypes : un prototype de réalité virtuelle sur dispositif Oculus Rift et un prototype de réalité augmentée/mixte sur dispositif Microsoft Hololens.
dans le fait qu’il va considérer des données 3D riches, intégrant non seulement des informations géométriques mais également des attributs d’apparence et d’animation.
Les outils proposés permettront de résoudre aussi bien les problèmes de latence de transmission, que les contraintes de rendu présentes en réalité virtuelle et augmentée. Le projet vise à proposer deux prototypes : un prototype de réalité virtuelle sur dispositif Oculus Rift et un prototype de réalité augmentée/mixte sur dispositif Microsoft Hololens.
English