Dans une étude récente publiée dans npj Médecine Numériqueles chercheurs ont développé des invites de raisonnement diagnostique pour déterminer si les grands modèles linguistiques (LLM) pouvaient simuler des raisons cliniques diagnostiques.
Les LLM, systèmes basés sur l’intelligence artificielle formés à l’aide d’énormes quantités de données textuelles, sont connus pour leurs performances de simulation humaine dans des tâches telles que la rédaction de notes cliniques et la réussite d’examens médicaux. Cependant, comprendre leurs capacités de raisonnement diagnostique clinique est crucial pour leur intégration dans les soins cliniques.
Des études récentes se sont concentrées sur des questions cliniques de type ouvert, indiquant que des modèles innovants en grand langage, comme GPT-4, ont le potentiel d’identifier des patients complexes. L’ingénierie des invites a commencé à surmonter ce problème, car les performances du LLM varient en fonction du type d’invites et de questions.
À propos de l’étude
Dans la présente étude, les chercheurs ont évalué le raisonnement diagnostique par GPT-3.5 et GPT-4 pour des questions cliniques de type ouvert, en émettant l’hypothèse que les modèles GPT pourraient surpasser les invites de chaîne de pensée (CoT) conventionnelles avec des invites de raisonnement diagnostique.
L’équipe a utilisé l’ensemble de données révisé de l’examen de licence médicale des États-Unis MedQA (USMLE) et la série de cas du New England Journal of Medicine (NEJM) pour comparer les invites de chaîne de pensée conventionnelles avec diverses invites de logique diagnostique modélisées d’après les procédures cognitives de formation d’un diagnostic différentiel. , le raisonnement analytique, les inférences bayésiennes et le raisonnement intuitif.
Ils ont étudié si les modèles en langage large pouvaient imiter les compétences de raisonnement clinique à l’aide d’invites spécialisées, combinant l’expertise clinique avec des techniques d’incitation avancées.
L’équipe a utilisé l’ingénierie rapide pour générer des invites de raisonnement diagnostique, convertissant les questions en réponses libres en éliminant les sélections à choix multiples. Ils comprenaient uniquement les questions des étapes II et III de l’ensemble de données USMLE et celles évaluant le diagnostic du patient.
Chaque cycle d’ingénierie rapide impliquait une évaluation de la précision GPT-3.5 à l’aide de l’ensemble de formation MEDQA. Les ensembles de formation et de test, qui contenaient respectivement 95 et 518 questions, étaient réservés à l’évaluation.
Les chercheurs ont également évalué les performances du GPT-4 sur 310 cas récemment publiés dans la revue NEJM. Ils en ont exclu 10 qui n’avaient pas de diagnostic final définitif ou dépassaient la durée maximale du contexte pour GPT-4. Ils ont comparé les invites CoT conventionnelles aux invites CoT de raisonnement diagnostique clinique les plus performantes (raisonnement pour le diagnostic différentiel) sur l’ensemble de données MedQA.
Chaque invite consistait en deux questions exemplaires accompagnées de justifications utilisant des techniques de raisonnement ciblé ou un apprentissage en quelques étapes. L’évaluation de l’étude a utilisé des questions à réponse libre des séries de rapports de cas USMLE et NEJM pour faciliter une comparaison rigoureuse entre les stratégies d’incitation.
Les médecins auteurs, les médecins traitants et un résident en médecine interne ont évalué les réponses du modèle linguistique, chaque question étant évaluée par deux médecins en aveugle. Un troisième chercheur a résolu les désaccords. Les médecins ont vérifié l’exactitude des réponses à l’aide d’un logiciel lorsque cela était nécessaire.
Résultats
L’étude révèle que les invites GPT-4 pourraient imiter le raisonnement clinique des cliniciens sans compromettre l’exactitude du diagnostic, ce qui est crucial pour évaluer l’exactitude des réponses LLM, améliorant ainsi leur fiabilité dans les soins aux patients. Cette approche peut aider à surmonter les limites de la boîte noire des LLM, les rapprochant ainsi d’une utilisation sûre et efficace en médecine.
GPT-3.5 a répondu avec précision à 46 % des questions d’évaluation par l’invite CoT standard et à 31 % par l’incitation sans chaîne de pensée de type zéro tir. Parmi les invites associées au raisonnement diagnostique clinique, GPT-3.5 a obtenu les meilleurs résultats avec des raisonnements de type intuitif (48 % contre 46 %).
Par rapport à la chaîne de pensée classique, GPT-3.5 a obtenu des résultats significativement inférieurs avec les invites de raisonnement analytique (40 %) et celles permettant d’élaborer des diagnostics différentiels (38 %), tandis que les inférences bayésiennes n’étaient pas significatives (42 %). L’équipe a observé un consensus inter-évaluateurs de 97 % pour les évaluations GPT-3.5 des données MedQA.
L’API GPT-4 a renvoyé des erreurs pour 20 questions de test, limitant la taille de l’ensemble de données de test à 498. GPT-4 a affiché plus de précision que GPT-3.5. GPT-4 a montré des précisions de 76 %, 77 %, 78 %, 78 % et 72 % avec une chaîne de pensée classique, un raisonnement de type intuitif, un raisonnement diagnostique différentiel, des invites de raisonnement analytique et des inférences bayésiennes, respectivement. Le consensus inter-évaluateurs était de 99 % pour les évaluations GPT-4 MedQA.
Concernant l’ensemble de données NEJM, GPT-4 a obtenu une précision de 38 % avec le CoT conventionnel contre 34 % avec celui pour la formulation d’un diagnostic différentiel (une différence de 4,2 %). Le consensus inter-évaluateurs pour l’évaluation GPT-4 NEJM était de 97 %. Réponses GPT-4 et justifications pour l’ensemble de données NEJM complet. Les invites promouvant un raisonnement étape par étape et se concentrant sur une seule stratégie de raisonnement diagnostique ont donné de meilleurs résultats que celles combinant plusieurs stratégies.
Dans l’ensemble, les résultats de l’étude ont montré que GPT-3.5 et GPT-4 ont amélioré les capacités de raisonnement, mais pas la précision. GPT-4 a fonctionné de la même manière avec les invites de chaîne de pensée de raisonnement de type conventionnel et intuitif, mais moins bien avec les invites de diagnostic analytique et différentiel. Les inférences bayésiennes et les incitations en chaîne de pensée ont également montré de moins bonnes performances que le CoT classique.
Les auteurs proposent trois explications à cette différence : les mécanismes de raisonnement du GPT-4 pourraient être intégralement différents de ceux des prestataires humains ; il pourrait expliquer les évaluations diagnostiques post-hoc dans les formats de raisonnement souhaités ; ou il pourrait atteindre une précision maximale avec les données de vignette fournies.
