Alors que les hôpitaux déploient déjà l'intelligence artificielle pour améliorer les soins aux patients, une nouvelle étude a révélé que l'utilisation de Chat GPT Plus n'améliore pas de manière significative la précision des diagnostics des médecins par rapport à l'utilisation des ressources habituelles.
L'étude, menée par Andrew S. Parsons, MD, MPH et collègues d'UVA Health, a recruté 50 médecins en médecine familiale, médecine interne et médecine d'urgence pour mettre Chat GPT Plus à l'épreuve. La moitié a été assignée au hasard à utiliser Chat GPT Plus pour diagnostiquer des cas complexes, tandis que l'autre moitié s'est appuyée sur des méthodes conventionnelles telles que les sites de référence médicale (par exemple, UpToDate©) et Google. Les chercheurs ont ensuite comparé les diagnostics résultants et ont constaté que l’exactitude des deux groupes était similaire.
Cela dit, Chat GPT à lui seul a surperformé les deux groupes, ce qui suggère qu'il est toujours prometteur en matière d'amélioration des soins aux patients. Les médecins auront cependant besoin de plus de formation et d’expérience avec la technologie émergente pour capitaliser sur son potentiel, concluent les chercheurs.
Pour l’instant, Chat GPT reste mieux utilisé pour augmenter, plutôt que remplacer, les médecins humains, affirment les chercheurs.
« Notre étude montre que l'IA seule peut être un outil de diagnostic efficace et puissant », a déclaré Parsons, qui supervise l'enseignement des compétences cliniques aux étudiants en médecine de la faculté de médecine de l'Université de Virginie et codirige le Clinical Reasoning Research Collaborative. « Nous avons été surpris de constater que l'ajout d'un médecin humain réduisait en réalité la précision du diagnostic tout en améliorant l'efficacité. Ces résultats signifient probablement que nous avons besoin d'une formation formelle sur la meilleure façon d'utiliser l'IA. »
Discutez GPT pour le diagnostic de maladie
Les chatbots appelés « grands modèles de langage » qui produisent des réponses semblables à celles des humains gagnent en popularité et ont montré une capacité impressionnante à recueillir les antécédents des patients, à communiquer avec empathie et même à résoudre des cas médicaux complexes. Mais pour l’instant, ils nécessitent encore l’intervention d’un médecin humain.
Parsons et ses collègues étaient impatients de déterminer comment cet outil de haute technologie pouvait être utilisé le plus efficacement possible. Ils ont donc lancé un essai randomisé et contrôlé dans trois hôpitaux de pointe : UVA Health, Stanford et le Beth Israel Deaconess Medical Center de Harvard.
Les médecins participants ont posé des diagnostics pour des « vignettes cliniques » basées sur des cas réels de soins aux patients. Ces études de cas comprenaient des détails sur les antécédents des patients, les examens physiques et les résultats des tests de laboratoire. Les chercheurs ont ensuite noté les résultats et examiné la rapidité avec laquelle les deux groupes posaient leur diagnostic.
La précision médiane du diagnostic pour les médecins utilisant Chat GPT Plus était de 76,3 %, tandis que les résultats pour les médecins utilisant des approches conventionnelles étaient de 73,7 %. Les membres du groupe Chat GPT ont atteint leur diagnostic globalement légèrement plus rapidement – 519 secondes contre 565 secondes.
Les chercheurs ont été surpris par les performances de Chat GPT Plus seul, avec une précision diagnostique médiane de plus de 92 %. Ils disent que cela peut refléter les invites utilisées dans l’étude, ce qui suggère que les médecins bénéficieront probablement d’une formation sur la façon d’utiliser efficacement les invites. Alternativement, disent-ils, les organismes de santé pourraient acheter des invites prédéfinies à mettre en œuvre dans le flux de travail et la documentation cliniques.
Les chercheurs préviennent également que Chat GPT Plus fonctionnerait probablement moins bien dans la vie réelle, où de nombreux autres aspects du raisonnement clinique entrent en jeu, notamment pour déterminer les effets en aval des diagnostics et des décisions de traitement. Ils demandent des études supplémentaires pour évaluer les capacités des grands modèles de langage dans ces domaines et mènent une étude similaire sur la prise de décision en matière de gestion.
À mesure que l’IA est de plus en plus intégrée aux soins de santé, il est essentiel de comprendre comment nous pouvons tirer parti de ces outils pour améliorer les soins aux patients et l’expérience du médecin. Cette étude suggère qu'il y a beaucoup de travail à faire en termes d'optimisation de notre partenariat avec l'IA dans l'environnement clinique. »
Andrew S. Parsons, MD, MPH, UVA Santé
Dans le prolongement de ce travail révolutionnaire, les quatre sites d'étude ont également lancé un réseau bi-côtier d'évaluation de l'IA appelé ARiSE (AI Research and Science Evaluation) pour évaluer davantage les résultats de GenAI dans le domaine des soins de santé. Découvrez plus d’informations sur le site Web d’ARiSE.
Résultats publiés
Les chercheurs ont publié leurs résultats dans la revue scientifique JAMA Network Open. L'équipe de recherche était composée d'Ethan Goh, Robert Gallo, Jason Hom, Eric Strong, Yingjie Weng, Hannah Kerman, Joséphine A. Cool, Zahir Kanjee, Parsons, Neera Ahuja, Eric Horvitz, Daniel Yang, Arnold Milstein, Andrew PJ Olson, Adam Rodman et Jonathan H. Chen. Le financement de cette recherche a été assuré par la Fondation Gordon et Betty Moore. Une liste complète des divulgations et des sources de financement est incluse dans le document.
