Les résumés générés par l’IA sont de plus en plus répandus – des aperçus d’articles de presse aux transcriptions de réunions sur le lieu de travail en passant par des paramètres à enjeux élevés comme les images des caméras du corps de la police – malgré des études montrant que l’IA peut générer des informations trompeuses ou inexactes.
Mattea Sim, professeure-chercheuse adjointe à la McCourt School of Public Policy de Georgetown, a dirigé les recherches pour l’étude.
Une nouvelle étude menée par une équipe de chercheurs de l’Université de Georgetown et de l’Université de Washington suggère que lorsqu’ils sont invités à résumer une vidéo, les systèmes d’IA qui génèrent des informations incorrectes peuvent manipuler la mémoire des gens et leur perception de la vérité.
L’étude, « AI-Enabled Human Memory Manipulation : Misleading AI-Generated Summaries Distort Human Memory », a été récemment publiée et sera présentée à la neuvième conférence AAAI/ACM sur l’IA, l’éthique et la société (AIES), une conférence universitaire évaluée par des pairs qui aura lieu en octobre 2026.
Mattea Sim, professeure de recherche adjointe au Massive Data Institute (MDI) de la McCourt School of Public Policy de Georgetown, a dirigé les recherches pour l’étude. Ses co-auteurs étaient Yoshi Kohno, titulaire de la chaire McDevitt en informatique, éthique et société et professeur au Département d’informatique et au Centre d’éthique numérique de Georgetown ; et Yael Eiger, titulaire d’un doctorat. candidat à l’Université de Washington.
Cette étude fait partie d’un effort croissant à Georgetown axé sur l’exploration de l’impact et des relations entre les IA et les humains, fondé à la fois sur la psychologie et l’informatique.
Yoshi Kohno, titulaire de la chaire McDevitt en informatique, éthique et société et professeur au Département d’informatique et au Centre d’éthique numérique de Georgetown
Points importants à retenir
- Les résumés de l’IA peuvent omettre des détails critiques, corroborant ainsi les découvertes antérieures. La catégorie d’erreur la plus courante dans cette étude était l’omission ou l’omission de mentionner les principaux événements d’une vidéo animée d’un accident de voiture et de piéton. Dans toutes les invites et modèles, les résumés ont omis en moyenne 51,6 % des détails centraux. Tous les résumés sauf un (95 %) ont omis le détail le plus central de l’événement dans la vidéo animée : une voiture entrant en collision avec un piéton.
- Un résumé trompeur de l’IA peut déformer la mémoire des gens concernant un événement. Dans l’étude, il a été demandé aux participants si la voiture dans la vidéo se trouvait devant un panneau « stop » ou « cédez le passage ». Les chercheurs ont découvert que 83,6 % des participants ayant lu un résumé contenant des informations précises sur la vidéo avaient répondu correctement, tandis que seulement 44,8 % des participants avaient eu raison après avoir lu un résumé trompeur.
- Les gens peuvent être sensibles à la désinformation dans les résumés de l’IA, qu’ils pensent que le résumé est rédigé par l’IA ou par un humain. L’impact des résumés trompeurs de l’IA sur la mémoire humaine dans l’étude ne dépendait pas de la confiance ou de la familiarité des gens avec l’IA.
« L’IA est une nouvelle méthode de diffusion de fausses informations, et elle a le potentiel de créer de faux souvenirs pour les personnes qui lisent ces informations », a déclaré Sim. « Je pense que nous devrions réfléchir de manière très approfondie et critique à la question de savoir si et comment l’IA devrait être utilisée pour résumer les informations, en particulier dans des contextes à enjeux élevés. »
Résumés de l’IA et mémoire humaine
Les chercheurs ont adopté deux approches distinctes pour explorer l’impact des résumés de l’IA sur la mémoire humaine.
Tout d’abord, ils ont analysé les résultats des résumés de l’IA de ChatGPT d’OpenAI et de Gemini de Google pour quantifier la fréquence et la catégorie d’erreurs apparaissant dans les résumés générés par l’IA. L’étude a révélé que les résumés de l’IA peuvent inclure des erreurs fréquentes, omettre des détails critiques, mal interpréter des informations et halluciner des détails inexacts.
« J’ai été frappé par la qualité des résumés, même à ce stade du développement de l’IA », a déclaré Eiger, dont les recherches portent sur la technologie dans le système carcéral. « Cela m’inquiète que les services de police utilisent des technologies de résumé vidéo sans tests rigoureux et sans se rendre compte à quel point les résumés générés par l’IA pourraient être incorrects. »
Ensuite, pour la partie expérience, les chercheurs ont demandé aux participants de regarder l’une des deux vidéos animées créées dans le cadre d’une récente étude de réplication modernisant les matériaux d’une étude classique sur la mémoire humaine.
« Nous n’avons pas utilisé d’images réelles des caméras du corps de la police », a déclaré Kohno.
Yoshi Kohno est titulaire de la chaire McDevitt en informatique, éthique et société et professeur au Département d’informatique et au Centre d’éthique numérique de Georgetown. (Lisa Helfert)
Les vidéos montraient une voiture rouge s’approchant d’une intersection avec un panneau stop ou cédez le passage. (Les participants ont été assignés au hasard à voir l’un des deux panneaux de signalisation.) Dans les vidéos, la voiture tourne à droite à une intersection et entre en collision avec un piéton marchant dans la route. Après avoir été renversé, le piéton se relève, le conducteur sort de la voiture et les deux se rencontrent.
Dans la deuxième partie de l’expérience, 24 à 48 heures plus tard, les participants ont été assignés au hasard à un résumé généré par l’IA qui était soit précis, soit contenant un détail inexact modifié par les chercheurs. Avant de lire le résumé, les participants ont également été informés que le résumé qu’ils lisaient avait été rédigé soit par l’IA, soit par un transcripteur humain. Cependant, le texte récapitulatif a été entièrement généré par ChatGPT et, dans certains cas, des parties distinctes des réponses de ChatGPT ont été assemblées pour garantir l’uniformité des conditions expérimentales.
Au total, 331 personnes ont complété les deux parties de l’expérience.
Selon les auteurs de l’étude, les participants qui lisaient un résumé trompeur de l’IA étaient significativement moins susceptibles de se souvenir avec précision de l’événement d’origine que les personnes qui lisaient un résumé précis de l’IA. Même lorsqu’on disait aux gens que les résumés étaient produits par l’IA, leurs souvenirs étaient toujours manipulés, ont expliqué les chercheurs.
« Ces résultats ont des implications sur la manière dont l’IA devrait être utilisée dans des contextes critiques », écrivent Sim et ses collègues dans l’étude. « Bien que l’on s’attende souvent à ce que les « humains dans le circuit » corrigent les erreurs de l’IA, nos travaux suggèrent que la mémoire humaine peut plutôt être déformée par ces erreurs. L’IA a le potentiel de générer de la désinformation, même en l’absence de toute intention adverse, ce qui peut avoir un impact significatif sur la mémoire humaine. «
Avancées et compromis technologiques
Alors que les individus et les sociétés dépendent de plus en plus de l’IA, Kohno espère que les résultats de cette étude encourageront les gens à prendre de plus en plus conscience que les résultats de l’IA peuvent avoir un impact direct sur la façon dont les humains perçoivent le monde.
Cela peut avoir un poids particulier dans des situations à enjeux élevés, comme dans le domaine policier ou médical.
Yael Eiger est titulaire d’un doctorat. candidat à l’Université de Washington à Seattle.
« Je suis très intéressé par toutes les technologies de plus en plus mises en œuvre par la police, que ce soit pour la surveillance ou pour accroître l’efficacité des services de police », a déclaré Eiger. « Cela est annoncé et présenté comme bénéfique, mais quels sont les compromis ? »
Elle aimerait voir davantage d’audits de ce type de technologie. Bien que cette étude ait utilisé les versions grand public les plus récentes des grands modèles de langage (LLM), les auteurs n’ont pas eu accès aux versions d’entreprise de l’IA conçues pour une utilisation organisationnelle.
« Il est intéressant du point de vue des commentaires publics et de la transparence publique que nous n’ayons pas beaucoup d’informations sur le fonctionnement des technologies ou sur les modèles exacts qui sont utilisés dans la course au déploiement de l’IA dans chaque secteur », a déclaré Eiger.
Pour les études futures, au lieu d’analyser des vidéos animées, les chercheurs souhaitent examiner des exemples concrets.
« Avec les images des caméras du corps de la police, que se passe-t-il avec les résumés de l’IA et à quoi ressemblent ces rapports de police lorsqu’ils sont générés par l’IA ? », a déclaré Sim. « Est-ce que cela manipule les souvenirs des interactions entre la police et les civils et peut-être par conséquent leur perception de ce qui s’est passé lors de l’incident ? Des questions comme celles-ci seraient très intéressantes. »
