Une étude récente publiée dans le ArXiv le serveur de préimpression* discute de la optimisation de grands modèles de langage (LLM) pour un diagnostic différentiel précis (DDx).
Étude: Vers un diagnostic différentiel précis avec de grands modèles de langage. Crédit d’image : novak.elcic/Shutterstock.com
*Avis important: arXiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
Sommaire
Arrière-plan
Un diagnostic précis est la première étape d’une prise en charge médicale efficace. Il a été perçu que les modèles basés sur l’intelligence artificielle (IA) peuvent être utilisés pour aider les cliniciens à établir un diagnostic précis d’une maladie.
Le processus de diagnostic réel implique un processus interactif et itératif avec un raisonnement rationnel sur un DDx. Un médecin évalue différentes possibilités de diagnostic sur la base d’informations cliniques variées obtenues à partir de procédures de diagnostic avancées.
L’apprentissage profond a été appliqué à la génération de DDx en ophtalmologie, en dermatologie et en radiologie. En raison de l’absence de capacités interactives, les modèles d’apprentissage profond ne peuvent pas aider les patients à établir un diagnostic grâce à une communication fluide dans leur langue maternelle. Cette lacune interactive peut être surmontée grâce au développement de LLM, qui peuvent être utilisés pour concevoir des outils efficaces pour DDx.
Les LLM sont formés à l’aide d’une quantité massive de texte, ce qui les aide à résumer, reconnaître, prédire et générer de nouveaux prochains. Ces modèles présentent la capacité de traiter des tâches complexes de compréhension et de raisonnement du langage.
GPT-4, une forme courante de LLM et les LLM spécialisés dans un domaine médical comme Med-PaLM 2, ont obtenu de très bons résultats dans les requêtes médicales à choix multiples. Cependant, chaque évaluation LLM est confrontée au défi de considérer des scénarios du monde réel pour la prestation de soins.
On ne comprend pas bien comment ces modèles peuvent aider activement les cliniciens dans le développement d’un DDx. Cependant, des études récentes ont montré que ces modèles peuvent être utilisés pour la déduction complexe d’un cas unique.
À propos de l’étude
L’étude actuelle a vérifié si un LLM conçu pour le raisonnement diagnostique clinique peut générer un DDx dans des cas médicaux réels. Contrairement aux modèles précédents, la présente étude a intégré ce modèle LLM avec une interface interactive et a évalué s’il pouvait aider les cliniciens à générer un DDx.
Un ensemble de cas réels difficiles a été obtenu auprès du New England Journal of Medicine (NEJM) et a été utilisé pour comparer la capacité des cliniciens à générer un DDx. Cette étude a comparé la capacité du clinicien à développer un DDx basé sur l’utilisation du LLM nouvellement optimisé et des outils traditionnels de recherche d’informations, tels que les livres et les moteurs de recherche Internet.
Au total, vingt cliniciens certifiés aux États-Unis et possédant une expérience médiane de neuf ans ont analysé les rapports de cas. Une approche automatisée a été utilisée pour comparer le LLM nouvellement développé pour DDx avec une performance LLM de base par GPT-4.
Résultats de l’étude
Le LLM optimisé a obtenu de très bons résultats en générant une liste DDx comprenant le diagnostic correct et en identifiant avec précision le diagnostic final. Comparé au modèle GPT-4 de pointe précédent, le modèle LLM automatisé nouvellement développé présentait une meilleure qualité et précision dans la génération d’une liste DDx. Basée sur la qualité des listes DDx, la nouvelle approche LLM a amélioré la capacité diagnostique des cliniciens.
La présente étude a utilisé des entretiens qualitatifs semi-structurés pour obtenir des informations pertinentes auprès des cliniciens sur l’expérience utilisateur liée à l’utilisation de l’outil. Les risques associés aux LLM dans le diagnostic médical ont été discutés, ainsi que leur point de vue sur la manière dont cet outil peut être utilisé pour le processus de diagnostic différentiel.
Ces entretiens ont indiqué l’importance des LLM dans l’amélioration de la diversité des listes DDx. La stratégie visant à accélérer la génération d’un DDx complet pour les cas difficiles a également été soulignée.
Les résultats de l’étude s’alignent sur des études antérieures qui évaluaient les performances des LLM et d’un « générateur DDx » pré-LLM utilisant des sous-ensembles plus petits de la Conférence clinicopathologique (CPC) du NEJM. Ces études ont indiqué le potentiel de la technologie automatisée pour générer avec précision le DDx correct dans les cas difficiles.
Le LLM nouvellement développé peut être utilisé pour générer un DDX avec un degré plus élevé de pertinence et d’exhaustivité que ceux produits par les médecins. Sur la base des données NEJM CPC, le modèle LLM actuel peut fournir un nombre accru de DDx pertinents par rapport à l’évaluation du clinicien avec une plus grande précision.
Conclusions
Le modèle LLM nouvellement développé a pu générer un DDx qui pourrait jouer un rôle important dans la gestion des cas cliniques. Néanmoins, des recherches futures sont nécessaires pour explorer comment les LLM pourraient améliorer le DDx des cliniciens dans certains cas avec des risques et une spécificité variables et valider l’adéquation du LLM actuel en milieu clinique.
*Avis important: arXiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
