Un chercheur du Rochester Institute of Technology fait partie d'une équipe qui a reçu une subvention de la National Science Foundation pour utiliser l'intelligence artificielle afin de mieux comprendre le rôle des expressions faciales dans les langues signées et parlées.
Dans le cadre du projet, les chercheurs développeront une application pour enseigner aux apprenants de la langue des signes américaine les expressions faciales et les gestes de la tête associés. Ils développeront également une application qui rendra anonymes les expressions faciales d'un signataire, lorsque la confidentialité est une préoccupation.
La subvention de près d'un million de dollars fait partie du NSF Convergence Accelerator, un programme qui soutient la recherche inspirée par l'utilisation, en équipe et multidisciplinaire pour trouver des solutions aux défis de société à l'échelle nationale.
Le projet, intitulé Data and AI Methods for Modeling Facial Expressions in Language with Applications to Privacy for the Deaf, American Sign Language (ASL) Education and Linguistic Research, est codirigé par une équipe multidisciplinaire de chercheurs de trois universités.
L'équipe comprend Matt Huenerfauth, professeur et expert en recherche sur l'accessibilité informatique au RIT; Dimitris Metaxas, professeur émérite d'informatique à l'Université Rutgers; Mariapaola D'Imperio, professeur émérite de linguistique à l'Université Rutgers; et Carol Neidle, professeur de linguistique et de français à l'Université de Boston.
«C'est une opportunité passionnante d'apprendre comment faire la transition de la recherche fondamentale vers le développement de technologies appliquées», a déclaré Huenerfauth, qui est également directeur de l'École d'information de RIT (iSchool). << La manière dont ce programme intègre la sensibilisation des utilisateurs finaux de la technologie au début du processus de recherche et de développement s'aligne sur les meilleures pratiques dans le domaine de l'interaction homme-machine et de l'expérience utilisateur, qui mettent l'accent sur une approche de la conception centrée sur l'utilisateur. "
Le projet examine les expressions faciales et les gestes de la tête, qui sont une composante essentielle des langues parlées et des langues des signes, y compris l'ASL. Aux États-Unis, l'ASL est le principal moyen de communication pour plus de 500 000 personnes et la troisième langue «étrangère» la plus étudiée.
Tout au long du projet de neuf mois, les chercheurs visent à créer des outils qui facilitent et accélèrent la recherche sur le rôle des expressions faciales dans les langues signées et parlées.
La première application que les chercheurs élaborent aidera les apprenants de langue seconde en ASL à produire les expressions faciales et les gestes de la tête qui transmettent des informations grammaticales dans la langue. Les experts ont déclaré que c'était l'un des aspects les plus difficiles de l'apprentissage de l'ASL comme langue seconde.
Ils développeront également une application qui désidentifie le signataire dans les communications vidéo, tout en préservant les informations linguistiques essentielles exprimées de manière non manuelle.
Cela permettra aux utilisateurs ASL d'avoir des conversations privées sur des sujets sensibles. Pour ce faire, les chercheurs créeront des algorithmes de suivi du visage en quatre dimensions qui peuvent être utilisés pour séparer la géométrie du visage du mouvement et de l'expression du visage.
C'est un vrai problème pour les utilisateurs ASL qui recherchent une communication privée dans leur propre langue. Obscurcir le visage n'est pas une option pour cacher l'identité du signataire, car les informations linguistiques critiques exprimées de manière non manuelle seraient perdues. «
Carol Neidle, professeur de linguistique et de français, Université de Boston
Au RIT, Huenerfauth est directeur du Centre de recherche sur l'accessibilité et l'inclusion (CAIR), où lui et une équipe d'étudiants et de professeurs travaillent à changer la culture du développement dans le but de rendre la technologie accessible à tous. Les étudiants effectuant des recherches dans le laboratoire CAIR seront impliqués dans le projet NSF Convergence Accelerator.
Huenerfauth a déclaré que RIT jouera un rôle important dans les aspects d'interaction homme-machine du projet.
«Nous allons mener des entretiens et des tests initiaux de prototypes (démos) du logiciel envisagé, afin de recueillir les exigences et les préférences des utilisateurs de la technologie», a déclaré Huenerfauth. « Les personnes qui utilisent la technologie incluraient des étudiants qui apprennent l'ASL, ainsi que des signataires d'ASL qui sont sourds et malentendants. »
La source:
Institut de technologie de Rochester
