Aller au contenu
Actualités médicales

ChatGPT-4 passe l'examen de licence médicale britannique mais vacille dans la prise de décision clinique du monde réel, révèle l'étude

Study: Assessing ChatGPT 4.0’s Capabilities in the United Kingdom Medical Licensing Examination (UKMLA): A Robust Categorical Analysis. Image Credit: Collagery / Shutterstock

Alors que ChatGPT-4 excelle aux examens médicaux à choix multiples, de nouvelles recherches révèlent ses faiblesses dans la prise de décision clinique complexe, soulevant de grandes questions sur l'avenir des soins de santé alimentés par l'IA.

Étude: Évaluation des capacités de Chatgpt 4.0 dans l'examen des licences médicales du Royaume-Uni (UKMLA): une analyse catégorique robuste. Crédit d'image: Collagerie / Shutterstock

Dans une étude récente publiée dans la revue Rapports scientifiquesles chercheurs ont évalué les capacités de ChatGPT-4 sur l'évaluation des licences médicales du Royaume-Uni (UKMLA), mettant en évidence les forces et les limites entre les formats de questions et les domaines cliniques.

Arrière-plan

L'intelligence artificielle (IA) continue de remodeler les soins de santé et l'éducation. L'UKMLA devenant rapidement une exigence standardisée pour les nouveaux médecins au Royaume-Uni, déterminer si les modèles d'IA comme ChatGPT-4 peuvent rencontrer des repères cliniques est de plus en plus important. Bien que l'IA soit prometteuse, des questions demeurent sur sa capacité à reproduire le raisonnement humain, l'empathie et la compréhension contextuelle dans les soins réels.

Aperçu de l'étude

Les chercheurs ont testé ChatGPT-4 sur 191 questions à choix multiples de l'examen UKMLA du simulation UKMLA du Conseil des écoles de médecine. Les questions ont duré 24 zones cliniques et ont été divisées sur deux articles de 100 questions. Neuf questions basées sur l'image ont été exclues en raison de l'incapacité de Chatgpt à interpréter les images, que les auteurs notent comme une limitation.

Chaque question a été testée avec et sans options à choix multiples. Les questions ont été classées en outre par la complexité du raisonnement (en un seul pas vs multi-étapes) et une concentration clinique (diagnostic, gestion, pharmacologie, etc.). Les réponses ont été étiquetées comme précises, indéterminées ou incorrectes. L'analyse statistique comprenait le chi carré et les tests t.

Conclusions clés

  • Précision générale: ChatGPT-4 a atteint une précision de 86,3% et 89,6% avec des options à choix multiples sur les deux articles. Sans options, la précision est tombée respectivement à 61,5% et 74,7% (P = 0,007).
  • Complexité du raisonnement: Les questions en une seule étape étaient plus précises (90% avec des invites, 73,1% sans) que les questions en plusieurs étapes (83,6% avec des invites, 57,4% sans). La différence était statistiquement significative (P = 0,025).
  • Compétence clinique: Les questions de diagnostic avaient la précision la plus élevée, 91,2% avec des invites et 84,2% sans. Les questions de gestion ont montré de mauvaises performances sans options (précision de 51,2%), avec un taux notable de réponses indéterminées et incorrectes.
  • Faiblesses pharmacologie: La pharmacologie avait la plus grande proportion de réponses indéterminées, en particulier sans invites, mettant en évidence les limites du modèle dans ce domaine.
  • Confusion du distracteur: Chatgpt a mieux fonctionné sans options dans huit cas, ce qui suggère que les distracteurs trompeurs dans des formats à choix multiples peuvent confondre le modèle.

Discussion

ChatGPT-4 a démontré une large base de connaissances, en particulier dans les tâches de diagnostic, et effectuée au niveau ou au-dessus du niveau attendu des diplômés en médecine dans des évaluations structurées. Cependant, il a lutté avec le raisonnement clinique contextuel, en particulier dans les scénarios de gestion ouverts ou multi-étapes. Cela suggère que le modèle peut soutenir les évaluations cliniques à un stade précoce mais n'a pas la nuance requise pour la prise de décision autonome.

Les limites comprennent un manque de formation sur les directives cliniques spécifiques au Royaume-Uni, qui peuvent avoir influencé les performances sur des questions spécifiques de l'UKMLA. De plus, les «hallucinations», les résultats courants mais incorrects, présentent un risque dans l'utilisation clinique. Les préoccupations éthiques incluent la dépersonnalisation potentielle des soins et le déchargement des cliniciens en raison de la dépassement de l'IA.

Conclusion

ChatGPT-4 fonctionne bien sur les questions structurées de licence médicale, en particulier celles centrées sur le diagnostic. Cependant, la précision baisse considérablement dans le raisonnement clinique ouvert et en plusieurs étapes, en particulier dans la gestion et la pharmacologie. Bien que les LLM sont prometteuses de soutenir l'éducation et le soutien clinique à un stade précoce, leurs limites actuelles soulignent la nécessité d'une intégration prudente, de la formation supplémentaire sur les ensembles de données cliniques et des garanties éthiques.

Ma Clinique

Ma Clinique

L'équipe Ma Clinique : professionnels de la santé et spécialistes en médecine générale. Notre objectif est de vous fournir les informations dont vous avez besoin pour prendre des décisions éclairées sur vos soins de santé.