Le suivi des yeux joue un rôle essentiel dans les derniers casques de réalité virtuelle et augmentée et est une technologie importante dans l'industrie du divertissement, la recherche scientifique, les sciences médicales et comportementales, l'assistance à la conduite automobile et l'ingénierie industrielle. Cependant, suivre les mouvements de l'œil humain avec une grande précision est un défi intimidant.
Des chercheurs de l'Université de l'Arizona Wyant College of Optical Sciences ont maintenant démontré une approche innovante qui pourrait révolutionner les applications de suivi des yeux. Leur étude, publiée dans Communications de la natureconstate que l'intégration d'une puissante technique d'imagerie 3D connue sous le nom de déflectométrie avec un calcul avancé a le potentiel d'améliorer considérablement la technologie de suivi des yeux de pointe.
Les méthodes actuelles de suivi des yeux ne peuvent capturer que des informations directionnelles du globe oculaire à partir de quelques points de surface clairsemés, environ une douzaine au plus. Avec notre méthode basée sur la déflectométrie, nous pouvons utiliser les informations à partir de plus de 40 000 points de surface, théoriquement uniformes de millions, tous extraits d'une seule image de caméra instantanée. «
Florian Willomitzer, professeur agrégé de sciences optiques et chercheur principal de l'étude
« Plus de points de données fournissent plus d'informations qui peuvent être potentiellement utilisées pour augmenter considérablement la précision de l'estimation de la direction du regard », a déclaré Jiazhang Wang, chercheur postdoctoral dans le laboratoire de Willomitzer et le premier auteur de l'étude. « Il est essentiel, par exemple, d'activer les applications de nouvelle génération en réalité virtuelle. Nous avons montré que notre méthode peut facilement augmenter le nombre de points de données acquises par un facteur de plus de 3 000, par rapport aux approches conventionnelles. »
La déflectométrie est une technique d'imagerie 3D qui permet la mesure des surfaces réfléchissantes avec une très grande précision. Les applications courantes de la déflectométrie comprennent le balayage de grands miroirs de télescope ou d'autres optiques hautes performances pour les moindres imperfections ou écarts par rapport à leur forme prescrite.
Tirer parti de la puissance de la déflectométrie pour les applications en dehors de l'inspection des surfaces industrielles est un objectif de recherche majeur du groupe de recherche de Willomitzer dans le laboratoire d'imagerie et de mesure 3D de calcul. L'équipe associe la déflectométrie avec des méthodes de calcul avancées généralement utilisées dans la recherche sur la vision par ordinateur. La piste de recherche qui en résulte, que Willomitzer appelle «déflectométrie informatique», comprend des techniques d'analyse des peintures et des œuvres d'art, des méthodes d'imagerie 3D basées sur des tablettes pour mesurer la forme des lésions cutanées et le suivi des yeux.
« La combinaison unique de techniques de mesure précises et de calcul avancé permet aux machines de » voir l'invisible « , leur donnant la » vision surhumaine « au-delà des limites de ce que les humains peuvent percevoir », a déclaré Willomitzer.
Dans cette étude, l'équipe a mené des expériences avec des participants humains et un modèle de l'œil artificiel réaliste. L'équipe a mesuré la direction de vision des sujets de l'étude et a pu suivre leur direction avec des précisions comprises entre 0,46 et 0,97 degrés. Lorsqu'il est testé sur le modèle de l'œil artificiel, l'erreur n'était qu'environ 0,1 degrés.
Au lieu de dépendre de quelques sources d'éclairage de points infrarouges pour acquérir des informations à partir de réflexions de surface oculaire, la nouvelle méthode utilise un écran affichant des motifs de lumière structurés connus comme la source d'éclairage. Chacun des plus d'un million de pixels à l'écran peut ainsi agir comme une source de lumière ponctuelle individuelle.
En analysant la déformation des motifs affichés tels qu'ils réfléchissent sur la surface des yeux, les chercheurs peuvent obtenir des données de surface 3D précises et denses de la cornée, qui recouvre la pupille et la zone blanche autour de la pupille, connue sous le nom de scléroc, a expliqué Wang.
« Notre reconstruction de calcul utilise ensuite ces données de surface avec des contraintes géométriques connues sur l'axe optique de l'œil pour prédire avec précision la direction du regard », a-t-il déclaré.
Dans une étude précédente, l'équipe a déjà exploré comment la technologie pourrait s'intègre de manière transparente à la réalité virtuelle et aux systèmes de réalité augmentée en utilisant potentiellement un motif intégré fixe dans le cadre du casque ou le contenu visuel du casque lui-même – qu'il s'agisse d'images fixes ou de vidéo – comme le motif qui est réfléchi de la surface de l'œil. Cela peut réduire considérablement la complexité du système, selon les chercheurs. De plus, les versions futures de cette technologie pourraient utiliser la lumière infrarouge au lieu de la lumière visible, permettant au système de fonctionner sans les utilisateurs distrayants avec des modèles visibles.
« Pour obtenir autant d'informations de direction que possible à partir de la cornée et de la sclénée de l'œil sans aucune ambiguïté, nous utilisons la stéréo-déflectométrie associée à de nouveaux algorithmes d'optimisation de surface », a déclaré Wang. « La technique détermine le regard sans faire d'hypothèses solides sur la forme ou la surface de l'œil, comme le font certaines autres méthodes, car ces paramètres peuvent varier d'un utilisateur à l'autre. »
Dans un «effet secondaire» souhaitable, la nouvelle technologie crée une reconstruction de surface dense et précise de l'œil, qui pourrait potentiellement être utilisée pour le diagnostic et la correction à la volée de troubles oculaires spécifiques à l'avenir, ont ajouté les chercheurs.
Viser le prochain saut de technologie
Bien que ce soit la première fois que une déflectométrie est utilisée pour le suivi des yeux – aux connaissances des chercheurs – Wang a déclaré: « Il est encourageant que notre mise en œuvre précoce ait déjà démontré une précision comparable ou mieux que les systèmes commerciaux de suivi des yeux dans de véritables expériences oculaires humaines. »
Avec un brevet en attente et des plans de commercialisation grâce au lancement technologique de l'Arizona, la recherche ouvre la voie à une nouvelle ère de suivi des yeux robustes et précis. Les chercheurs pensent qu'avec d'autres raffinements d'ingénierie et des optimisations algorithmiques, ils peuvent repousser les limites du suivi des yeux au-delà de ce qui a été réalisé auparavant en utilisant des techniques adaptées aux paramètres d'application du monde réel. Ensuite, l'équipe prévoit d'intégrer d'autres méthodes de reconstruction 3D dans le système et de profiter de l'intelligence artificielle pour améliorer encore la technique.
« Notre objectif est de se rapprocher des niveaux de précision de 0,1 degrés obtenus avec les expériences oculaires du modèle », a déclaré Willomitzer. « Nous espérons que notre nouvelle méthode permettra une nouvelle vague de technologie de suivi des yeux de nouvelle génération, y compris d'autres applications telles que la recherche et la psychologie des neurosciences. »
Les co-auteurs du journal incluent Oliver Cossairt, professeur agrégé adjoint de génie électrique et informatique à la Northwestern University, où Willomitzer et Wang ont commencé le projet, et Tianfu Wang et Bingjie Xu, tous deux anciens étudiants de Northwestern.
