Alors que de plus en plus de personnes se tournent vers ChatGPT et d'autres grands modèles linguistiques (LLM) pour obtenir des conseils en matière de santé mentale, une nouvelle étude détaille comment ces chatbots – même lorsqu'ils sont invités à utiliser des techniques de psychothérapie fondées sur des preuves – violent systématiquement les normes éthiques de pratique établies par des organisations comme l'American Psychological Association.
La recherche, menée par des informaticiens de l’Université Brown travaillant aux côtés de praticiens de la santé mentale, a montré que les chatbots sont sujets à diverses violations éthiques. Il s'agit notamment de gérer de manière inappropriée des situations de crise, de fournir des réponses trompeuses qui renforcent les croyances négatives des utilisateurs à l'égard d'eux-mêmes et des autres, et de créer un faux sentiment d'empathie envers les utilisateurs.
« Dans ce travail, nous présentons un cadre informé par les praticiens de 15 risques éthiques pour démontrer comment les conseillers LLM violent les normes éthiques dans la pratique de la santé mentale en mappant le comportement du modèle sur des violations éthiques spécifiques », ont écrit les chercheurs dans leur étude. « Nous appelons aux travaux futurs pour créer des normes éthiques, éducatives et juridiques pour les conseillers LLM – des normes qui reflètent la qualité et la rigueur des soins requis pour la psychothérapie facilitée par l'homme. »
La recherche sera présentée le 22 octobre 2025 lors de la conférence AAAI/ACM sur l'intelligence artificielle, l'éthique et la société. Les membres de l'équipe de recherche sont affiliés au Centre Brown pour la responsabilité technologique, la réimagination et la refonte.
Zainab Iftikhar, titulaire d'un doctorat. Le candidat en informatique à Brown qui a dirigé les travaux s'est intéressé à l'impact de différentes invites sur les résultats des LLM dans les contextes de santé mentale. Plus précisément, elle visait à déterminer si de telles stratégies pouvaient aider les modèles à adhérer aux principes éthiques pour un déploiement dans le monde réel.
« Les invites sont des instructions données au modèle pour guider son comportement afin d'accomplir une tâche spécifique », a déclaré Iftikhar. « Vous ne modifiez pas le modèle sous-jacent ni ne fournissez de nouvelles données, mais l'invite aide à guider la sortie du modèle en fonction de ses connaissances préexistantes et des modèles appris.
« Par exemple, un utilisateur peut demander au modèle : « Agir en tant que thérapeute cognitivo-comportemental pour m'aider à recadrer mes pensées » ou « Utiliser les principes de la thérapie comportementale dialectique pour m'aider à comprendre et à gérer mes émotions ». Bien que ces modèles n'exécutent pas réellement ces techniques thérapeutiques comme le ferait un être humain, ils utilisent plutôt leurs modèles appris pour générer des réponses qui s'alignent sur les concepts de CBT ou DBT en fonction de l'invite de saisie fournie.
Les utilisateurs individuels discutant directement avec des LLM comme ChatGPT peuvent utiliser de telles invites et le font souvent. Iftikhar dit que les utilisateurs partagent souvent les invites qu'ils utilisent sur TikTok et Instagram, et qu'il existe de longs fils de discussion Reddit consacrés aux stratégies d'invite. Mais le problème va potentiellement au-delà des utilisateurs individuels. Essentiellement, tous les chatbots de santé mentale commercialisés auprès des consommateurs sont des versions incitées de LLM plus généraux. Il est donc essentiel de comprendre comment les invites spécifiques à la santé mentale affectent les résultats des LLM.
Pour l’étude, Iftikhar et ses collègues ont observé un groupe de pairs conseillers travaillant avec une plateforme en ligne de soutien en santé mentale. Les chercheurs ont d'abord observé sept pairs conseillers, tous formés aux techniques de thérapie cognitivo-comportementale, alors qu'ils menaient des discussions d'auto-conseil avec des LLM encouragés par la TCC, notamment diverses versions de la série GPT d'OpenAI, Claude d'Anthropic et Llama de Meta. Ensuite, un sous-ensemble de discussions simulées basées sur des discussions de conseil humaines originales a été évaluée par trois psychologues cliniciens agréés qui ont aidé à identifier les violations potentielles de l'éthique dans les journaux de discussion.
L’étude a révélé 15 risques éthiques répartis en cinq catégories générales :
- Manque d'adaptation contextuelle : ignorer les expériences vécues par les gens et recommander des interventions universelles.
- Mauvaise collaboration thérapeutique : dominer la conversation et renforcer occasionnellement les fausses croyances d'un utilisateur.
- Empathie trompeuse : utiliser des expressions telles que « Je te vois » ou « Je comprends » pour créer une fausse connexion entre l'utilisateur et le bot.
- Discrimination injuste : faire preuve de préjugés sexistes, culturels ou religieux.
- Manque de sécurité et gestion de crise : refuser le service sur des sujets sensibles, ne pas orienter les utilisateurs vers les ressources appropriées ou réagir avec indifférence aux situations de crise, y compris les idées suicidaires.
Iftikhar reconnaît que même si les thérapeutes humains sont également sensibles à ces risques éthiques, la principale différence réside dans la responsabilité.
Pour les thérapeutes humains, il existe des conseils d'administration et des mécanismes permettant aux prestataires d'être tenus professionnellement responsables des mauvais traitements et des fautes professionnelles. Mais lorsque les conseillers LLM commettent ces violations, il n’existe aucun cadre réglementaire établi. »
Zainab Iftikhar, titulaire d'un doctorat. candidat en informatique, Brown University
Ces résultats ne signifient pas nécessairement que l’IA ne devrait pas jouer un rôle dans le traitement de la santé mentale, explique Iftikhar. Elle et ses collègues pensent que l’IA a le potentiel de contribuer à réduire les obstacles aux soins liés au coût du traitement ou à la disponibilité de professionnels qualifiés. Cependant, dit-elle, les résultats soulignent la nécessité d’une mise en œuvre réfléchie des technologies d’IA ainsi que d’une réglementation et d’une surveillance appropriées.
Pour l’instant, Iftikhar espère que les résultats sensibiliseront davantage les utilisateurs aux risques posés par les systèmes d’IA actuels.
« Si vous parlez de santé mentale à un chatbot, ce sont des éléments auxquels les gens devraient prêter attention », a-t-elle déclaré.
Ellie Pavlick, professeur d'informatique à Brown qui ne faisait pas partie de l'équipe de recherche, a déclaré que la recherche met en évidence la nécessité d'une étude scientifique minutieuse des systèmes d'IA déployés dans les établissements de santé mentale. Pavlick dirige ARIA, un institut de recherche en IA de la National Science Foundation à Brown visant à développer des assistants en IA dignes de confiance.
« La réalité de l'IA aujourd'hui est qu'il est beaucoup plus facile de construire et de déployer des systèmes que de les évaluer et de les comprendre », a déclaré Pavlick. « Cet article a nécessité une équipe d'experts cliniques et une étude qui a duré plus d'un an afin de démontrer ces risques. Aujourd'hui, la plupart des travaux en matière d'IA sont évalués à l'aide de mesures automatiques qui, de par leur conception, sont statiques et manquent d'humain dans la boucle. »
Elle dit que ces travaux pourraient fournir un modèle pour de futures recherches visant à rendre l’IA plus sûre pour le soutien à la santé mentale.
« Il existe une réelle opportunité pour l'IA de jouer un rôle dans la lutte contre la crise de santé mentale à laquelle notre société est confrontée, mais il est de la plus haute importance que nous prenions le temps de vraiment critiquer et d'évaluer nos systèmes à chaque étape pour éviter de faire plus de mal que de bien », a déclaré Pavlick. « Ce travail offre un bon exemple de ce à quoi cela peut ressembler. »
