Des chercheurs de l’Université de Stanford ont découvert que les réponses générées par l’IA aux messages des patients obtenaient des taux de satisfaction plus élevés que les réponses des cliniciens, même si l’empathie et la qualité restaient fortes en endocrinologie.
Lettre de recherche : Perspectives sur les réponses générées par l’intelligence artificielle aux messages des patients. Crédit d'image : Munthita/Shutterstock
Dans une étude récente publiée dans Réseau JAMA ouvertdes chercheurs de l'Université de Stanford ont évalué la satisfaction des profanes à l'égard des réponses de l'intelligence artificielle (IA) par rapport aux messages du clinicien au patient. L'IA générative peut potentiellement aider les cliniciens à répondre aux messages des patients. Bien que les réponses générées par l’IA présentent une qualité acceptable et un faible risque de préjudice, les perspectives des profanes à l’égard des réponses générées par l’IA ont rarement été explorées en détail.
L'étude et les résultats
Dans cette étude transversale, les chercheurs ont étudié la satisfaction des profanes à l'égard des réponses générées par l'IA par rapport aux messages du clinicien au patient. Ils ont examiné 3 769 023 demandes de conseils médicaux de patients dans les dossiers de santé et ont inclus 59 questions cliniques à analyser. Deux modèles d'IA générative ont été utilisés : Stanford Generative Pretrained Transformer (GPT) et ChatGPT-4. Ces outils ont généré des réponses avec et sans ingénierie rapide. Pour l’analyse finale, les réponses de l’IA générées avec une ingénierie rapide ont été sélectionnées pour leurs informations de meilleure qualité et leur empathie.
Six cliniciens agréés ont étudié les réponses initiales des cliniciens ainsi que les réponses de l'IA sur une échelle de Likert à cinq points, 5 indiquant la meilleure et 1 la pire. De plus, 30 participants, recrutés via le registre de recherche de Stanford, ont évalué leur satisfaction en termes d’IA et de cliniciens. Chaque réponse a été évaluée indépendamment par trois personnes, avec une note de 5 signifiant extrêmement satisfait et 1 signifiant extrêmement insatisfait. Pour tenir compte des biais potentiels et de la variabilité des évaluateurs, les chercheurs ont développé des modèles mixtes pour calculer les estimations des effets sur l'empathie, la satisfaction et la qualité de l'information.
L’équipe a utilisé la régression linéaire multivariée pour étudier les associations entre la durée de réponse et la satisfaction, en ajustant le sexe, l’âge, la race et l’origine ethnique. Au total, 2 118 évaluations de la qualité des réponses de l’IA et 408 évaluations de la satisfaction ont été incluses. Notamment, les estimations de satisfaction pour les réponses de l’IA (moyenne 3,96) étaient significativement plus élevées que pour les réponses des cliniciens (moyenne 3,05), à la fois globalement et par spécialité. Les estimations de satisfaction les plus élevées concernaient les réponses de l'IA aux questions de cardiologie, tandis que les réponses aux questions d'endocrinologie montraient l'empathie et la qualité de l'information les plus élevées.
Les réponses des cliniciens étaient plus courtes, avec une moyenne de 254 caractères, par rapport aux réponses de l'IA, qui comptaient en moyenne 1 471 caractères. Il est intéressant de noter que la longueur des réponses des cliniciens était associée à la satisfaction, en particulier pour les questions de cardiologie, alors qu'aucune association de ce type n'a été trouvée pour la longueur des réponses de l'IA.
Conclusions
L'étude a évalué la satisfaction à l'égard des réponses de l'IA aux questions des patients dans les dossiers de santé. Les résultats ont montré que les réponses générées par l’IA présentaient une satisfaction systématiquement plus élevée que les réponses des cliniciens. Cependant, la satisfaction n'était pas nécessairement concordante avec la qualité de l'information et l'empathie, car les réponses aux questions de cardiologie étaient les plus satisfaisantes, mais les questions d'endocrinologie étaient les mieux notées en termes d'empathie et de qualité de l'information.
De plus, la durée des réponses du clinicien, mais pas celle de l'IA, était associée à la satisfaction, ce qui suggère que la brièveté de la communication clinicien-patient pourrait réduire la satisfaction. Les limites de l'étude incluent l'évaluation de la satisfaction par les participants à l'enquête plutôt que par les patients qui ont initialement soumis les questions. Ainsi, la satisfaction initiale des patients peut différer.
Les futures études devraient évaluer la satisfaction à l’égard des réponses de l’IA dans divers contextes, notamment différents centres médicaux, régions, populations de patients et spécialités. Dans l’ensemble, l’étude souligne l’importance des patients en tant que parties prenantes dans le développement et la mise en œuvre de l’IA dans les communications clinicien-patient pour une intégration optimale dans la pratique.
