Pour les personnes aveugles ou malvoyantes, se déplacer de manière autonome est un défi quotidien. Des chercheurs de Harvard ont développé un nouvel outil qui pourrait aider ces personnes à naviguer plus rapidement et en toute sécurité, en utilisant uniquement un appareil qu’elles possèdent probablement déjà : un smartphone.
Les ingénieurs de la John A. Paulson School of Engineering and Applied Sciences (SEAS) ont inventé une nouvelle application pour smartphone appelée Mobilio qui combine l’apprentissage automatique ; des algorithmes qui rationalisent les entrées de plusieurs capteurs ; et des signaux audio personnalisés pour fournir à une personne aveugle ou malvoyante des instructions étape par étape, un guidage sur le chemin et un évitement d’obstacles. La recherche a été dirigée par un doctorat. étudiant Raymond Liu en collaboration avec Patrick Slade, professeur adjoint de bio-ingénierie. La recherche est publiée dans Génie biomédical naturel.
Pour commencer, les chercheurs ont interrogé plus de 100 personnes aveugles ou malvoyantes pour comprendre leurs besoins. Les personnes interrogées ont souligné trois capacités essentielles des technologies de navigation : des instructions détaillées fiables, un guidage continu le long des trottoirs et des sentiers, ainsi que la détection et l’évitement des obstacles.
Les outils existants comme les cannes, les chiens-guides et les aides électroniques au voyage résolvent une partie de ces problèmes, mais rarement les trois ensemble, et bon nombre de ces systèmes sont coûteux et inaccessibles. Bien que le logiciel de cartographie GPS propose une navigation étape par étape, il n’est pas suffisamment précis pour qu’une personne aveugle ou malvoyante puisse l’utiliser en toute sécurité.
En revanche, la plupart des gens possèdent déjà un smartphone. L’équipe de Harvard a vu une opportunité de fournir une aide à la navigation via une application autonome qui pourrait un jour être téléchargée depuis un magasin d’applications et fonctionner entièrement sur le téléphone.
Mobilio utilise les capteurs intégrés du téléphone, y compris l’appareil photo ; GPS ; centrale de mesure inertielle sensible au mouvement et à l’orientation ; et (si disponible) le capteur LiDAR. Une avancée technologique centrale est un modèle de vision par ordinateur personnalisé qui analyse le flux de la caméra en direct du point de vue d’un piéton pour trouver des chemins praticables dans l’environnement de l’utilisateur.
Notre système utilise les capteurs d’un smartphone, les informations GPS et les mouvements réels de la personne pour créer ce qui est essentiellement un petit plan de véhicule autonome sur la façon de la guider d’où elle se trouve jusqu’à là où elle veut aller. »
Patrick Slade, professeur adjoint de bio-ingénierie, John A. Paulson School of Engineering and Applied Sciences, Harvard University
Étant donné que la plupart des ensembles de données de scènes de rue accessibles au public sont capturés à partir de voitures, de nombreux modèles standards classent mal les infrastructures pertinentes pour les piétons, a expliqué le premier auteur Liu. Pour résoudre ce problème, Liu a formé un modèle de segmentation sémantique spécifiquement sur des images de vues de piétons afin qu’il puisse reconnaître de manière fiable les trottoirs, les passages pour piétons, les routes et autres surfaces clés pendant la marche.
« Il y a un besoin de plus de données provenant du point de vue des humains marchant le long des trottoirs ou marchant à l’extérieur », a ajouté Liu.
Liu a déclaré qu’un défi de conception majeur consistait à garantir que tous les algorithmes et modèles puissent fonctionner en temps réel sur un smartphone standard, qui dispose de beaucoup moins de puissance de calcul qu’un ordinateur portable ou un matériel spécialisé.
Au lieu de simples invites vocales, Mobilio fournit des signaux audio continus sous forme de bips lorsque l’utilisateur marche. Les bips proviennent d’une direction, telle que la gauche ou la droite de l’utilisateur, pour indiquer la direction, et le guidage est personnalisé en temps réel grâce à l’optimisation humaine dans la boucle. Lorsqu’une personne marche, le système mesure avec quelle précision elle suit les signaux audio et ajuste automatiquement les signaux et les modèles de hauteur pour fonctionner au mieux pour cette personne.
Pour évaluer l’application, l’équipe a mené des expériences avec 14 participants volontaires recrutés au Carroll Center for the Blind à Newton, dans le Massachusetts. Chaque participant a effectué des tâches de navigation en utilisant une condition de base de navigation étape par étape sur Google Maps plus une canne de mobilité blanche, et encore une fois avec l’application Mobilio plus la canne. Ils ont parcouru un sentier extérieur planifié à l’avance ainsi qu’un parcours intérieur comportant des obstacles imitant les défis environnementaux courants.
Par rapport à l’utilisation de Google Maps et d’une canne, les participants utilisant Mobilio et une canne ont parcouru le parcours extérieur environ 13 % plus rapidement et ont réduit le contact avec les obstacles sur le parcours intérieur d’environ 41 %. En termes de fiabilité, ou de cohérence avec le système guidant les utilisateurs vers la destination sans erreurs majeures, Mobilio a réalisé des performances comparables à celles d’un guide humain.
Au-delà de l’apport technique, le projet s’appuie sur l’expérience personnelle. Liu a un frère aîné qui est aveugle et le fait de soutenir la navigation indépendante de son frère a fortement déterminé les objectifs de son travail.
L’équipe a souligné que les commentaires quantitatifs et qualitatifs des utilisateurs réels étaient indispensables.
« Il est absolument crucial que de vraies personnes testent votre appareil, car il est impossible de prédire comment quelqu’un va réagir à votre appareil », a déclaré Liu. « En particulier dans le domaine de la cécité et de la déficience visuelle, qui constituent un ensemble vaste et diversifié de déficiences. »
Ensuite, les chercheurs prévoient de tester Mobilio dans un plus large éventail de contextes réalistes autour de la région de Boston pour évaluer davantage dans quelle mesure le système se généralise et comment il s’intègre aux habitudes quotidiennes des gens. Les chercheurs sont soutenus par le Harvard Grid Accelerator pour aider à traduire la technologie et à la rendre largement accessible en tant que futur produit.
Les bailleurs de fonds du projet comprenaient la bourse de recherche supérieure DGE-2140743 de la National Science Foundation, le Harvard Grid Accelerator, l’Amazon Greater Boston Tech Initiative, le Harvard Dean’s Competitive Fund for Promising Scholarship et le Kempner Institute.
Le Harvard Office of Technology Development a protégé les innovations associées à cette recherche et recherche activement des opportunités de commercialisation.
