Les chercheurs explorent les implications des soins de santé mentale assistés par l'IA et l'avenir de la psychothérapie.
Étude: Quand Eliza rencontre les thérapeutes: un test de Turing pour le cœur et l'esprit. Crédit d'image: Mungkhood Studio / Shutterstock.com
Dans une étude récente publiée dans PLoS Mental Health, les chercheurs ont étudié si les réponses rédigées par des thérapeutes expertes et le transformateur 4 pré-étiré de chat (ChatGPT-4) pouvaient être différenciés par les humains.
«Les machines peuvent-elles penser?» est une simple question soulevée par Alan Turing après la Seconde Guerre mondiale. La technologie a considérablement progressé depuis le milieu des années 1900, et des preuves croissantes montrent que l'intelligence artificielle générative (Genai) pourrait être utile en psychothérapie.
De plus, des études récentes révèlent des effets prometteurs du Genai dans la psychothérapie en tant que solution complémentaire ou indépendante. Des rapports récents indiquent que l'IA peut écrire du contenu avec empathie, qui est fortement évalué par les thérapeutes et surpasse les professionnels.
À propos de l'étude
Dans la présente étude, les chercheurs ont étudié si un panel de participants pouvait différencier les réponses liées à la thérapie en couple des experts humains et du chatppt.
Premièrement, des experts titulaires de diplômes avancés en psychologie du counseling, en psychologie clinique, en psychiatrie, en mariage et en thérapie familiale ont été recrutés. Les experts ont été assignés au hasard pour recevoir l'un des deux ensembles de vignettes de thérapie de couple. Ils ont reçu un mois pour compléter les réponses aux vignettes.
Après l'achèvement, les experts d'un groupe ont classé les trois réponses de l'autre groupe qui étaient très susceptibles de réussir le test des facteurs communs et le test Turing et vice versa. Ensuite, ChatGPT-4 a été demandé avec une seule invite pour générer des réponses.
Le professionnalisme, l'empathie, l'alliance thérapeutique, l'efficacité et les compétences culturelles. De même, les réponses de ChatGPT-4 ont été évaluées par les auteurs.
Les meilleures vignettes ont été sélectionnées pour rivaliser avec celles des experts humains. De plus, les meilleures réponses ont été agrégées et distribuées en tant qu'enquête à un panel de diverses personnes. Cet échantillon de répondants était représentatif de la population américaine (États-Unis).
Les répondants ont été randomisés pour recevoir un message de thérapeutes ou de chatppt-4 et ont demandé à 1) évaluer la façon dont il s'alignait avec les facteurs communs et 2) devinez si Chatgpt ou un thérapeute humain était l'auteur.
Résultats
Au total, 13 thérapeutes avec au moins cinq ans d'expérience constituaient le comité d'experts. La plupart d'entre eux avaient des antécédents en couple. En outre, le panel de répondants au sondage comprenait 830 personnes âgées de 45 ans en moyenne.
Parmi ceux-ci, 50,6% étaient des femmes, 47,9% étaient des hommes et 0,2% étaient non binaires. Près de 60% d'entre eux étaient dans une relation amoureuse et 18% ont déclaré avoir eu une thérapie en couple.
De plus, 49,4% des répondants étaient blancs non hispaniques, 18,8% étaient noirs, 16,8% étaient hispaniques blancs et 5% étaient asiatiques, entre autres. Les répondants au sondage ont démontré de mauvaises performances en termes d'identification si les réponses provenaient de chatppt ou de thérapeutes.
Ils ont correctement identifié les thérapeutes que 5% plus souvent que Chatgpt. De plus, les réponses de Chatgpt ont été évaluées plus élevées sur tous les facteurs communs thérapeutiques que les réponses des thérapeutes.
De plus, les réponses de Chatgpt étaient plus susceptibles d'être classées comme empathiques, culturellement compétentes et connectées que celles écrites par des thérapeutes.
Les participants qui pensaient qu'un thérapeute a écrit la réponse l'a évalué plus haut, tandis que ceux qui pensaient qu'il était généré par Chatgpt l'a évalué plus bas. Cela a provoqué une analyse post hoc supplémentaire, qui a révélé un biais d'attribution marqué.
Autrement dit, les sujets ont répondu plus positivement aux vignettes lorsqu'ils sont attribués aux thérapeutes. De plus, les réponses ont été évaluées en fonction de la précision de l'attribution.
Par exemple, les réponses des thérapeutes qui ont été mal attribuées à Chatgpt avaient les notes les moins favorables. En outre, les chercheurs ont comparé les différences de discours et de sentiment entre les réponses des thérapeutes et du chatpt.
Les réponses générées par le chatppt étaient plus longues et avaient un sentiment plus positif, des noms, des adjectifs, des verbes, des pronoms et des adverbes que les réponses écrites par l'homme.
Même lors du contrôle de la longueur de la réponse, les réponses de Chatgpt comprenaient plus d'adjectifs et de noms, mais avaient un nombre similaire d'adverbes, de pronoms et de verbes.
Conclusions
L'identification précise des réponses de Chatgpt et des thérapeutes n'était que légèrement meilleure que le hasard.
Cela indique que les gens ont du mal à distinguer la machine et les réponses humaines, soutenant la prédiction de Turing (que les humains ne pourront pas distinguer la machine et les réponses humaines). En outre, les réponses par Chatgpt ont été évaluées beaucoup plus élevées sur tous les facteurs communs de thérapie que les réponses humaines.
Les limites de l'étude comprennent le nombre limité de vignettes représentant une fraction de ce qui est possible dans des contextes valides, une seule invite à générer des réponses Genai et le nombre limité de thérapeutes experts, y compris quelques thérapeutes.
Compte tenu des chances que Genai puisse être intégrée dans des contextes thérapeutiques, les experts en santé mentale devront comprendre l'apprentissage automatique, devenir plus techniquement alphabétisé dans le domaine et assurer une formation et une supervision minutieuses de ces modèles.
