La recherche révèle que les médecins utilisant le GPT-4 prennent de meilleures décisions de gestion, passent plus de temps dans les cas et correspondent à la performance AI que la performance – déménageant l'avenir de l'apparence de la décision médicale.
Étude: Assistance GPT-4 pour l'amélioration des performances des médecins sur les tâches de soins aux patients: un essai contrôlé randomisé. Crédit d'image: Passez une bonne journée photo / Shutterstock
Les outils d'intelligence artificielle (IA) sont largement explorés dans la recherche actuelle pour améliorer le diagnostic médical et la prise de décision. Une étude récente publiée dans la revue Médecine de la naturea étudié si le transformateur pré-formé génératif du modèle grand langage (LLM) peut améliorer les performances des médecins dans les tâches de raisonnement de gestion dans des scénarios cliniques complexes.
Sommaire
IA à la clinique
La prise de décision clinique implique deux composants clés: le raisonnement diagnostique et de gestion. Bien que le raisonnement diagnostique bénéficie des outils d'IA qui génèrent des diagnostics différentiels, le raisonnement de gestion reste un défi plus complexe. Les médecins doivent peser plusieurs facteurs, tels que les préférences des patients, les risques, les coûts et les options de traitement, souvent sans réponse correcte.
Les systèmes d'IA traditionnels ont fourni des seconds opinions mais n'ont pas constamment démontré un avantage dans les décisions de gestion. À cet égard, les LLM tels que GPT-4, avec leur capacité à traiter de grandes quantités de connaissances médicales, peuvent aider à combler cet écart en servant de partenaires cognitifs. Cependant, leur impact sur la prise de décision clinique du monde réel reste incertain en termes de mise en œuvre du monde réel, même si cette étude a démontré un avantage clair de performance. Des études antérieures ont montré que l'IA peut soutenir la précision diagnostique, mais son rôle dans les processus de prise de décision nuancés tels que la planification du traitement et la gestion des patients est sous-exploré.
À propos de l'étude
Pour comprendre l'utilité des outils d'IA dans la prise de décision clinique, la présente étude a examiné si les médecins aidés par le GPT-4 surpassent ceux qui utilisent les ressources conventionnelles seules. L'équipe a mené un essai contrôlé randomisé entre novembre 2023 et avril 2024, inscrivant 92 médecins praticiens.
Les participants ont été assignés au hasard à deux groupes, l'un qui a utilisé le GPT-4 pour une assistance dans les décisions de gestion ainsi que les ressources médicales conventionnelles et l'autre qui s'appuyait uniquement sur les ressources conventionnelles. De plus, un groupe AI-Only a été inclus, où GPT-4 a répondu indépendamment aux cas sans implication des médecins, permettant une comparaison directe entre les médecins assistés par l'IA et ceux qui utilisent des ressources conventionnelles. Chaque médecin a été chargé de résoudre cinq études de cas créées par des experts sur la base de rencontres de patients réelles mais désidentifiées.
En outre, pour reproduire les conditions cliniques réelles, les détails du cas ont été révélés séquentiellement, ce qui obligeait les médecins à ajuster dynamiquement leurs plans de gestion. L'objectif principal de l'étude était d'évaluer la différence de scores totaux entre les deux groupes, qui a été évalué à l'aide de rubriques de score développées par des experts. Les résultats secondaires explorés dans l'étude comprenaient les performances spécifiques au domaine, la durée de la réponse et le temps passé par cas.
Pour garantir la fiabilité, trois élèves indépendants ont évalué les réponses avec un taux d'accord de 82%. Les médecins ont participé à distance ou en personne et ont eu jusqu'à une heure pour compléter autant de cas que possible. L'étude a été conçue pour évaluer si le GPT-4 pouvait augmenter la prise de décision humaine dans des scénarios cliniques complexes plutôt que de remplacer les médecins.
Résultats et implications
Les chercheurs ont constaté que les médecins utilisant le GPT-4 pour une assistance fonctionnaient beaucoup mieux dans le raisonnement de gestion par rapport à ceux qui utilisent les ressources conventionnelles seules. Le groupe assisté par l'IA a obtenu une moyenne de 6,5 points de pourcentage plus élevé (intervalle de confiance à 95%: 2,7 à 10,2, p <0,001).
Fait intéressant, la performance de GPT-4 seule dans ces tâches était comparable à celle des médecins utilisant l'outil d'IA (43,7% contre 43,0%, respectivement, P = 0,80), et tous deux ont surpassé le groupe conventionnel qui n'a pas utilisé d'assistance AI (35,7%). Bien qu'il ne soit pas statistiquement significatif, le groupe AI-Only a tendance à de meilleures performances que les médecins assistés par l'AI (43,7% contre 43,0%).
L'étude a montré que par rapport aux médecins qui n'utilisaient que des ressources conventionnelles, les utilisateurs de GPT-4 ont excellé dans la prise de décision de gestion (40,5% contre 33,4%, p = 0,001), raisonnement diagnostique (56,8% contre 45,8%, p = 0,009) et décisions spécifiques au contexte (42,4% contre 34,9%, p = 0,002). Cependant, des aspects tels que le rappel factuel et les scores généraux de connaissances n'ont montré aucune différence significative entre les deux groupes.
En outre, les médecins assistés par l'IA ont passé plus de temps par cas (119,3 secondes de plus, p = 0,022), ce qui suggère un engagement plus approfondi avec la prise de décision. Notamment, même après ajustement du temps passé et de la durée de réponse, les médecins assistés par l'IA ont toujours surpassé ceux qui utilisant des ressources conventionnelles, indiquant que les scores plus élevés n'étaient pas uniquement dus à des réponses plus longues. De plus, une analyse des dommages potentiels n'a trouvé aucune augmentation significative des décisions nocives chez les médecins assistés par l'IA par rapport au groupe témoin.
Plus précisément, les médecins assistés par l'IA avaient une plus faible probabilité de prendre des décisions nocives à risque moyen par rapport à celles utilisant des ressources conventionnelles (8,5% contre 11,4%) et des taux similaires de préjudice à haut risque (4,2% contre 2,9%). La gravité du préjudice était également comparable entre les groupes, avec un préjudice léger à modéré observé dans 4,0% des réponses assistées par l'IA contre 5,3% dans le groupe conventionnel. Les taux de préjudice graves étaient presque identiques (7,7% contre 7,5%).
Ces résultats ont indiqué que l'intégration du GPT-4 dans la prise de décision clinique pourrait améliorer le processus en encourageant la réflexion et en fournissant des perspectives alternatives. Cependant, l'équipe estime que d'autres études en milieu réel sont nécessaires pour valider ces résultats et explorer les risques potentiels, notamment les hallucinations et la désinformation, avant la mise en œuvre clinique généralisée.
Conclusions
En résumé, cette étude a démontré que l'utilisation de LLMS telles que le GPT-4 dans la pratique clinique peut améliorer considérablement la prise de décision des médecins dans des cas cliniques complexes. Les médecins qui ont utilisé l'assistance de l'IA ont surperformé de manière significative ceux qui utilisent des ressources conventionnelles, mettant clairement en évidence le potentiel de l'IA en tant qu'outil clinique précieux.
Cependant, bien que l'utilisation d'IA se soit constatée pour améliorer le raisonnement de gestion, il a également augmenté le temps passé par cas, suggérant un compromis entre la rigueur et l'efficacité. Surtout, après ajustement du temps et de la durée de réponse, les médecins assistés par l'IA ont toujours mieux performé, soulignant le bénéfice indépendant du GPT-4 dans le raisonnement clinique.
Des recherches supplémentaires pourraient aider à déterminer l'impact de ces outils de LLM sur les soins des patients du monde réel et à optimiser leur intégration dans la pratique clinique, garantissant que les risques potentiels tels que les hallucinations et la surcharge cognitive sont soigneusement gérés.
