Les personnes atteintes d'aphasie-un trouble du cerveau affectant environ un million de personnes dans la lutte américaine pour transformer leurs pensées en mots et comprendre la langue parlée.
Une paire de chercheurs de l'Université du Texas à Austin a démontré un outil basé sur l'IA qui peut traduire les pensées d'une personne en texte continu, sans obliger la personne à comprendre les mots prononcés. Et le processus de formation de l'outil sur les propres modèles d'activité cérébrale unique d'une personne ne prend qu'environ une heure. Cela s'appuie sur les travaux antérieurs de l'équipe créant un décodeur de cerveau qui a nécessité de nombreuses heures de formation sur l'activité cérébrale d'une personne alors qu'ils écoutaient des histoires audio. Cette dernière avancée suggère qu'il peut être possible, avec un raffinement supplémentaire, pour que les interfaces informatiques cérébrales améliorent la communication chez les personnes atteintes d'aphasie.
« Pouvoir accéder aux représentations sémantiques en utilisant à la fois la langue et la vision ouvre de nouvelles portes à la neurotechnologie, en particulier pour les personnes qui ont du mal à produire et à comprendre la langue », a déclaré Jerry Tang, chercheur postdoctoral à l'UT dans le laboratoire d'Alex Huth et premier auteur sur un journal décrivant le travail dans Biologie actuelle. « Cela nous donne un moyen de créer des interfaces d'ordinateur cérébral basées sur le langage sans nécessiter de compréhension du langage. »
Dans les travaux antérieurs, l'équipe a formé un système, y compris un modèle de transformateur similaire au type utilisé par Chatgpt, pour traduire l'activité cérébrale d'une personne en texte continu. Le décodeur sémantique qui en résulte peut produire du texte, qu'une personne écoute une histoire audio, songe à raconter une histoire ou à regarder une vidéo silencieuse qui raconte une histoire. Mais il y a des limites. Pour entraîner ce décodeur de cerveau, les participants ont dû mentir immobile dans un scanner IRMf pendant environ 16 heures tout en écoutant des podcasts, un processus peu pratique pour la plupart des gens et potentiellement impossible pour une personne ayant des déficits dans la compréhension du langage parlé. Et le décodeur de cerveau d'origine ne fonctionne que sur des personnes pour lesquelles elle a été formée.
Avec ce dernier travail, l'équipe a développé une méthode pour adapter le décodeur de cerveau existant, a formé à la dure, à une nouvelle personne avec seulement une heure de formation dans un scanner IRMf tout en regardant des vidéos courtes et silencieuses, telles que des shorts Pixar. Les chercheurs ont développé un algorithme de convertisseur qui apprend à cartographier l'activité cérébrale d'une nouvelle personne sur le cerveau de quelqu'un dont l'activité était précédemment utilisée pour entraîner le décodeur cérébral, conduisant à un décodage similaire à une fraction du temps avec la nouvelle personne.
Huth a déclaré que ce travail révèle quelque chose de profond sur le fonctionnement de notre cerveau: nos pensées transcendent la langue.
Cela indique un chevauchement profond entre ce que les choses se passent dans le cerveau lorsque vous écoutez quelqu'un vous raconter une histoire, et ce qui se passe dans le cerveau lorsque vous regardez une vidéo qui raconte une histoire. Notre cerveau traite les deux types d'histoire comme les mêmes. Cela nous dit également que ce que nous décodons n'est pas réellement un langage. Ce sont des représentations de quelque chose au-dessus du niveau de langage qui n'est pas lié à la modalité de l'entrée. «
Alex Huth, professeur agrégé d'informatique et de neurosciences et auteur principal
Les chercheurs ont noté que, tout comme avec leur décodeur de cerveau d'origine, leur système amélioré ne fonctionne qu'avec des participants coopératifs qui participent volontiers à la formation. Si les participants sur lesquels le décodeur a été formé plus tard a donné une résistance à l'exemple, en pensant que d'autres pensées sont inutilisables. Cela réduit le potentiel d'utilisation abusive.
Bien que leurs derniers sujets de test soient neurologiquement en bonne santé, les chercheurs ont également effectué des analyses pour imiter les modèles de lésions cérébrales chez les participants atteints d'aphasie et ont montré que le décodeur était toujours en mesure de traduire en texte continu l'histoire qu'ils percevaient. Cela suggère que l'approche pourrait éventuellement fonctionner pour les personnes atteintes d'aphasie.
Ils travaillent maintenant avec Maya Henry, professeur agrégé de la Dell Medical School de l'UT et Moody College of Communication qui étudie l'aphasie, pour tester si leur décodeur de cerveau amélioré fonctionne pour les personnes atteintes d'aphasie.
« C'était amusant et gratifiant de réfléchir à la façon de créer l'interface la plus utile et de rendre la procédure de formation de modèle aussi simple que possible pour les participants », a déclaré Tang. « Je suis vraiment ravi de continuer à explorer comment notre décodeur peut être utilisé pour aider les gens. »
Ce travail a été soutenu par l'Institut national sur la surdité et autres troubles de la communication des National Institutes of Health, de la Fondation Whitehall, de la Fondation Alfred P. Sloan et du Fonds Burroughs Wellcome.
