Alors que les grands modèles linguistiques réussissent les examens médicaux, leur incapacité à reconnaître l’incertitude met en évidence un défaut critique qui pourrait avoir un impact sur la sécurité des patients.
Recherche : les grands modèles linguistiques manquent de métacognition essentielle pour un raisonnement médical fiable. Crédit d'image : NicoElNino/Shutterstock
Dans une étude récente publiée dans la revue Communications naturellesles chercheurs ont évalué les capacités métacognitives des grands modèles de langage (LLM) populaires afin d'évaluer leur aptitude à être déployées en milieu clinique. Ils ont développé un nouvel outil d'analyse comparative appelé « MetaMedQA » en tant que modification et amélioration du benchmark MedQA-USMLE pour évaluer les performances du LLM en termes de rappel de réponses manquantes, d'exactitude basée sur la confiance et de rappel inconnu grâce à des questions médicales à choix multiples.
Les résultats de l'étude ont révélé que malgré des résultats élevés aux questions à choix multiples, les LLM étaient incapables de reconnaître les limites de leur base de connaissances, fournissant des réponses sûres même lorsqu'aucune des options proposées n'était factuellement correcte. Cependant, des exceptions comme GPT-4o présentaient une conscience de soi et un calibrage de confiance relativement meilleurs, soulignant la variabilité des performances du modèle. Ces résultats mettent en évidence un décalage entre la perception qu'ont les LLM de leurs capacités et leurs capacités médicales réelles, ce qui peut s'avérer désastreux en milieu clinique. L'étude identifie donc des possibilités de croissance dans le développement de LLM, appelant à l'incorporation d'une métacognition améliorée avant que les LLM puissent être déployés de manière fiable dans les systèmes d'aide à la décision clinique.
Sommaire
Arrière-plan
Les grands modèles de langage (LLM) sont des modèles d'intelligence artificielle (IA) qui utilisent des techniques d'apprentissage en profondeur pour comprendre et générer le langage humain. Les progrès récents des LLM ont abouti à leur utilisation intensive dans diverses industries, notamment la défense et la santé. Il a notamment été démontré que plusieurs LLM, y compris les modèles populaires ChatGPT d'OpenAI, atteignent des performances de niveau expert lors des examens médicaux officiels dans un large éventail de spécialités médicales (pédiatrie, ophtalmologie, radiologie, oncologie et chirurgie plastique).
Bien que plusieurs méthodologies d'évaluation (telles que l'étalon-or actuel, « MultiMedQA ») aient été développées pour évaluer les performances du LLM dans les applications médicales, elles souffrent d'un inconvénient commun : les tests de performance du LLM se limitent à évaluer le rappel des informations du modèle et la reconnaissance des formes, sans poids accordé à leurs capacités métacognitives. Des études récentes ont mis en évidence ces limites en révélant des lacunes dans la sécurité des modèles, en particulier dans la capacité des LLM à générer des informations trompeuses en l'absence d'informations précises.
À propos de l'étude
La présente étude visait à développer une nouvelle évaluation des capacités métacognitives des LLM actuels et futurs. Il a développé et testé un cadre intitulé « MetaMedQA » en incorporant des questions médicales fictives, mal formées et modifiées dans le référentiel MedQA-USMLE existant. En plus des évaluations de rappel d'informations et de reconnaissance de formes de MultiMedQA, la nouvelle évaluation détermine la quantification de l'incertitude et la notation de confiance, révélant ainsi la capacité (ou l'absence de capacité) des LLM pour l'auto-évaluation et l'identification des lacunes dans les connaissances.
« Cette approche fournit un cadre d'évaluation plus complet qui s'aligne étroitement sur les exigences pratiques en milieu clinique, garantissant que le déploiement du LLM dans les soins de santé peut être à la fois sûr et efficace. De plus, elle a des implications pour les systèmes d'IA dans d'autres domaines à enjeux élevés nécessitant une conscience de soi. et une auto-évaluation précise.
MultiMedQA a été développé en utilisant Python 3.12 avec les algorithmes de guidage. L'outil comprend 1 373 questions, chacune proposant des choix multiples (n = 6) (QCM), dont un seul est correct. Les questions comprenaient des scénarios fictifs, des questions mal formulées identifiées manuellement et des réponses correctes modifiées pour évaluer des compétences métacognitives spécifiques.
Les résultats intéressants concernant les capacités métacognitives des LLM comprenaient :
- Précision globale du modèle
- Impact de la confiance
- Analyse des réponses manquantes
- Analyse inconnue (une mesure de la conscience de soi des LLM), et
- Analyse technique rapide. Les LLM actuels évalués via ce nouveau cadre comprenaient à la fois des modèles propriétaires (GPT-4o-2024-05-13 d'OpenAI, GPT-3.5-turbo-0125) et des modèles à poids ouvert.
Résultats de l'étude
L'étude a identifié l'association entre la taille du modèle et la précision globale : les modèles plus grands (par exemple, Qwen2 72B ; M = 64,3 %) ont obtenu de meilleurs résultats que leurs homologues plus petits (par exemple, Qwen2 7B ; M = 43,9 %). De même, il a été observé que les modèles les plus récents surpassaient considérablement leurs homologues plus anciens. GPT-4o-2024-05-13 (M = 73,3 %) s'est avéré être le LLM le plus précis actuellement disponible.
L'analyse de l'impact de la confiance (score de 1,0 à 5,0 points ; une valeur plus élevée indique une plus grande confiance auto-évaluée dans les réponses) a révélé que la plupart des modèles supposaient systématiquement que leurs réponses étaient exactes avec des valeurs de confiance élevées (5). GPT-4o et Qwen2-72B étaient des exceptions notables, montrant une variabilité de confiance qui correspondait à la précision, une capacité essentielle pour la sécurité clinique.
Les réponses manquantes (LLM choisissant « aucune des réponses ci-dessus » comme réponse à un QCM) ont révélé que les modèles plus grands et plus récents étaient les plus performants. Les analyses inconnues (les LLM identifiant qu'ils n'étaient pas équipés pour répondre à une question spécifique) ont produit les pires résultats de toutes les analyses : tous les modèles sauf trois ont obtenu un taux de précision de 0 % dans cette évaluation. Cette incapacité généralisée à identifier les questions sans réponse souligne une lacune fondamentale dans les capacités actuelles du LLM. GPT-4o-2024-05-13 s'est révélé être le plus performant avec un score de 3,7 %.
L'ingénierie des invites a considérablement amélioré les résultats, avec des invites personnalisées améliorant l'étalonnage de la confiance, la précision et le rappel inconnu. Informer explicitement les modèles des pièges potentiels a amélioré la précision du niveau de confiance élevé et a incité à la conscience de soi, bien que ces gains dépendent du contexte.
Conclusions
La présente étude a conçu une nouvelle mesure d'évaluation (MetaMedQA) pour évaluer les capacités métacognitives et la conscience de soi des LLM populaires. Le test de 12 modèles propriétaires et à poids ouvert a révélé que, même si la plupart des modèles ont une précision globale de niveau expert, ils ont du mal à gérer des informations manquantes ou des analyses inconnues, soulignant leur manque de conscience de soi. L’ingénierie rapide s’est révélée prometteuse mais reste une solution incomplète pour relever ces défis. Notamment, le GPT-4o-2024-05-13 d'OpenAI a systématiquement surpassé les autres modèles actuellement populaires et a présenté la plus grande conscience de soi.
Ces résultats soulignent l'écart entre l'expertise apparente et l'auto-évaluation réelle dans les LLM, ce qui présente des risques importants dans des contextes cliniques. Pour résoudre ce problème, il faudra se concentrer à la fois sur des références améliorées et sur des améliorations fondamentales de l’architecture des modèles.
