Une étude autoethnographique explore l’utilité des outils d’IA pour l’accessibilité

Les outils d’intelligence artificielle générative tels que ChatGPT, un outil linguistique basé sur l’IA, et Midjourney, un générateur d’images alimenté par l’IA, peuvent potentiellement aider les personnes souffrant de divers handicaps. Ces outils pourraient résumer du contenu, composer des messages ou décrire des images. Pourtant, l’ampleur de ce potentiel reste une question ouverte, car, en plus de rejeter régulièrement des inexactitudes et d’échouer dans le raisonnement de base, ces outils peuvent perpétuer des préjugés capacitaires.

Cette année, sept chercheurs de l’Université de Washington ont mené une étude autoethnographique de trois mois – ; s’appuyant sur leurs propres expériences en tant que personnes handicapées et non handicapées – ; pour tester l’utilité des outils d’IA pour l’accessibilité. Bien que les chercheurs aient trouvé des cas dans lesquels les outils étaient utiles, ils ont également constaté des problèmes importants avec les outils d’IA dans la plupart des cas d’utilisation, qu’il s’agisse de générer des images, d’écrire des messages Slack, de résumer des écrits ou d’essayer d’améliorer l’accessibilité des documents.

L’équipe a présenté ses conclusions le 22 octobre lors de la conférence ASSETS 2023 à New York.

« Lorsque la technologie évolue rapidement, il y a toujours un risque que les personnes handicapées soient laissées pour compte », a déclaré l’auteure principale Jennifer Mankoff, professeure à l’UW à la Paul G. Allen School of Computer Science & Engineering. « Je crois vraiment à la valeur des récits à la première personne pour nous aider à comprendre les choses. Parce que notre groupe comptait un grand nombre de personnes qui pouvaient expérimenter l’IA en tant que personnes handicapées et voir ce qui fonctionnait et ce qui ne fonctionnait pas, nous avons pensé nous avons eu une occasion unique de raconter une histoire et d’en apprendre davantage. »

Le groupe a présenté ses recherches dans sept vignettes, regroupant souvent les expériences en récits uniques pour préserver l’anonymat. Par exemple, dans le premier compte, « Mia », qui souffre de brouillard cérébral intermittent, a déployé ChatPDF.com, qui résume les fichiers PDF, pour l’aider dans son travail. Même si l’outil était parfois précis, il donnait souvent des « réponses complètement incorrectes ». Dans un cas, l’outil était à la fois inexact et capacitiste, modifiant l’argumentation d’un article pour donner l’impression que les chercheurs devraient parler aux soignants plutôt qu’aux personnes atteintes de maladies chroniques. « Mia » a pu comprendre cela, puisque le chercheur connaissait bien l’article, mais Mankoff a déclaré que ces erreurs subtiles font partie des problèmes « les plus insidieux » liés à l’utilisation de l’IA, car elles peuvent facilement passer inaperçues.

Pourtant, dans la même vignette, « Mia » a utilisé des chatbots pour créer et formater des références pour un article sur lequel elles travaillaient tout en éprouvant un brouillard cérébral. Les modèles d’IA ont encore commis des erreurs, mais la technologie s’est avérée utile dans ce cas.

Mankoff, qui a parlé publiquement de la maladie de Lyme, a contribué à ce récit. « Utiliser l’IA pour cette tâche nécessitait encore du travail, mais cela réduisait la charge cognitive. En passant d’une tâche de « génération » à une tâche de « vérification », j’ai pu éviter certains des problèmes d’accessibilité auxquels je faisais face », a déclaré Mankoff.

Les résultats des autres tests sélectionnés par les chercheurs étaient également mitigés :

• Un auteur autiste a découvert que l’IA aidait à rédiger des messages Slack au travail sans passer trop de temps à se soucier de la formulation. Les pairs ont trouvé les messages « robotiques », mais l’outil a néanmoins permis à l’auteur de se sentir plus en confiance dans ces interactions.
• Trois auteurs ont essayé d’utiliser des outils d’IA pour accroître l’accessibilité de contenus tels que des tableaux pour un document de recherche ou un diaporama pour un cours. Les programmes d’IA étaient capables d’énoncer des règles d’accessibilité mais ne pouvaient pas les appliquer de manière cohérente lors de la création de contenu.
• Les outils d’IA générateurs d’images ont aidé un auteur atteint d’aphantasie (incapacité à visualiser) à interpréter les images de livres. Pourtant, lorsqu’ils ont utilisé l’outil d’IA pour créer une illustration de « personnes souffrant de divers handicaps semblant heureuses mais pas à une fête », le programme n’a pu évoquer que des images lourdes de personnes lors d’une fête qui incluaient des incongruités capacitistes, comme une main désincarnée. reposant sur une jambe prothétique désincarnée.

J’ai été surpris de voir à quel point les résultats variaient considérablement en fonction de la tâche. Dans certains cas, comme créer une image de personnes handicapées semblant heureuses, même avec des incitations spécifiques – ; peux-tu procéder de cette façon ? – ; les résultats n’ont pas atteint ce que souhaitaient les auteurs.

Kate Glazko, auteur principal, Doctorant UW à l’Allen School

Les chercheurs notent que des travaux supplémentaires sont nécessaires pour développer des solutions aux problèmes révélés par l’étude. Un problème particulièrement complexe consiste à développer de nouvelles façons pour les personnes handicapées de valider les produits des outils d’IA, car dans de nombreux cas, lorsque l’IA est utilisée à des fins d’accessibilité, soit le document source, soit le résultat généré par l’IA est inaccessible. Cela s’est produit dans le résumé capacitaire que ChatPDF a donné à « Mia » et lorsque « Jay », qui est légalement aveugle, a utilisé un outil d’IA pour générer du code pour une visualisation de données. Il n’a pas pu vérifier lui-même le résultat, mais un collègue a déclaré que cela « n’avait aucun sens ». La fréquence des erreurs causées par l’IA, a déclaré Mankoff, « rend la recherche sur la validation accessible particulièrement importante ».

Mankoff prévoit également de rechercher des moyens de documenter les types de capacitisme et d’inaccessibilité présents dans le contenu généré par l’IA, ainsi que d’étudier les problèmes dans d’autres domaines, tels que le code écrit par l’IA.

« Chaque fois que les pratiques d’ingénierie logicielle changent, il existe un risque que les applications et les sites Web deviennent moins accessibles si de bonnes valeurs par défaut ne sont pas en place », a déclaré Glazko. « Par exemple, si le code généré par l’IA était accessible par défaut, cela pourrait aider les développeurs à mieux connaître et à améliorer l’accessibilité de leurs applications et sites Web. »

Les co-auteurs de cet article sont Momona Yamagami, qui a réalisé cette recherche en tant que chercheuse postdoctorale UW à l’Allen School et qui est maintenant à l’Université Rice ; Aashaka Desai, Kelly Avery Mack et Venkatesh Potluri, tous doctorants UW à l’école Allen ; et Xuhai Xu, qui a réalisé ce travail en tant que doctorant de l’UW à l’École d’information et qui est maintenant au Massachusetts Institute of Technology. Cette recherche a été financée par Meta, le Centre de recherche et d’éducation sur les technologies et expériences accessibles (CREATE), Google, une subvention NIDILRR ARRT et la National Science Foundation.