Cinq modèles d’IA de premier plan ont été confrontés aux mêmes 227 questions d’examen sur les maladies infectieuses, testant si leur précision pouvait résister aux exigences de connaissances spécialisées, de problèmes cliniques complexes et d’interprétation visuelle.
Étude : Performance de cinq grands modèles de langage (LLM) sur des questions liées aux maladies infectieuses. Crédit d’image : Jack_the_sparow / Shutterstock
Dans une étude récente publiée dans la revue Rapports scientifiquesdes chercheurs de la University of the Pacific School of Pharmacy, à Stockton, aux États-Unis, ont comparé la précision de cinq grands modèles de langage (LLM) pour répondre aux questions d’examen en pharmacie liées aux maladies infectieuses dans différents domaines de pharmacie, niveaux cognitifs et formats de questions.
Sommaire
Arrière-plan
L’intelligence artificielle (IA) répondre de manière fiable aux questions que les futurs professionnels de santé doivent maîtriser ? Les LLM ont le potentiel d’être des outils pédagogiques qui génèrent des explications et des réponses pour soutenir l’apprentissage interactif. Leur utilisation dans le domaine des soins de santé peut également soulever des problèmes éthiques. Des informations incorrectes peuvent affecter la compréhension des concepts cliniques par les étudiants et les enseignants et potentiellement influencer le jugement clinique. Des études antérieures évaluant les LLM dans la discipline de la formation en pharmacie ont montré des performances incohérentes. Les LLM peuvent soulever des inquiétudes quant à l’intégrité académique et au développement de la pensée critique. Des recherches supplémentaires sont nécessaires pour établir leur fiabilité dans tous les sujets pharmaceutiques et niveaux cognitifs.
À propos de l’étude
Les chercheurs ont mené une analyse comparative de cinq LLM disponibles dans le commerce à l’aide de questions d’examen d’un cours intégré sur les maladies infectieuses en sciences cliniques, un cours obligatoire de deuxième année dans le programme accéléré de doctorat en pharmacie de trois ans de l’École de pharmacie de l’Université du Pacifique. Le cours s’est déroulé de janvier à avril 2025 et les données ont été collectées de mai à juillet 2025.
Les modèles évalués étaient ChatGPT-4.1 et ChatGPT-4o-mini (OpenAI), Claude Sonnet 4 (Anthropic), Copilot Web/Mobile/Edge (Microsoft) et Gemini 2.5 Flash (Google). Les chercheurs ont évalué 227 questions d’examen tirées du cours, couvrant la chimie médicinale, la microbiologie clinique, la pharmacologie, la thérapeutique, la pharmacocinétique et la pharmacodynamique. La taxonomie de Bloom a été utilisée pour classer les questions en catégories mémoriser/comprendre, appliquer/analyser et évaluer/créer. Les questions ont également été classées par format (à choix multiples ou à remplir) et si elles incluaient des images.
Chaque modèle a reçu des invites et des instructions identiques pour répondre aux questions et expliquer pourquoi la réponse sélectionnée était correcte et les options alternatives étaient incorrectes. Des corrigés fournis par l’instructeur ont été utilisés pour évaluer les réponses, qui ont ensuite été classées comme correctes ou incorrectes. Les explications à l’appui n’ont pas été notées séparément en termes d’exhaustivité ou de sécurité clinique. Deux enquêteurs ont examiné de manière indépendante les questions auxquelles un modèle avait répondu de manière incorrecte et se sont mis d’accord sur toutes les classifications. Des statistiques descriptives ont été calculées pour analyser la précision du modèle. Le test du chi carré a été utilisé pour comparer l’exactitude des modèles et des catégories de questions. Le coefficient kappa de Cohen a été utilisé pour évaluer la concordance entre les modèles. La signification statistique a été fixée à p
Résultats de l’étude
L’évaluation comprenait 227 questions : 108 sur la thérapeutique, 45 sur la chimie médicinale, 40 sur la microbiologie clinique, 25 sur la pharmacologie et 9 sur la pharmacocinétique/pharmacodynamique. Sur la base de la taxonomie de Bloom, 92 questions évaluaient la mémorisation et la compréhension, 71 évaluaient l’application et l’analyse, et 64 évaluaient l’évaluation et la création. La plupart des questions (212 ; 93,4 %) étaient à choix multiples, 15 (6,6 %) étaient à remplir et 13 questions (5,7 %) contenaient des images.
Sur les cinq modèles, la précision globale était de 90,2 %. ChatGPT-4o-mini a atteint la précision la plus élevée (91,2 %), suivi de Gemini 2.5 Flash (90,7 %) et ChatGPT-4.1 (90,3 %). Copilot et Claude ont enregistré la précision la plus faible, à 89,4 % chacun. La différence entre les modèles les plus performants et les moins performants n’était que de 1,8 points de pourcentage, ce qui indique des performances relativement similaires entre les systèmes évalués.
La précision variait selon les domaines. La pharmacologie avait la précision la plus élevée avec 93,6 %, suivie par la thérapeutique avec 93,0 %, la pharmacocinétique/pharmacodynamique avec 91,1 %, la microbiologie clinique avec 87,5 % et la chimie médicinale avec 84,0 %. Par rapport aux produits thérapeutiques, la chimie médicinale et la microbiologie clinique ont montré une précision significativement inférieure (p p = 0,80) ou pharmacocinétique/pharmacodynamique (p = 0,64). Ces résultats suggèrent que la précision du modèle dépend en partie du sujet pharmaceutique évalué.
Les performances variaient également en fonction de la complexité cognitive. La précision était de 92,0 % pour les questions de mémorisation/compréhension et de 92,1 % pour les questions d’application/analyse, sans différence significative entre ces catégories (p = 0,93). En comparaison, la précision a diminué à 85,6 % pour les questions d’évaluation/création, ce qui représente une réduction statistiquement significative par rapport aux questions de mémorisation/compréhension (p inférieur à 0,05). Claude a démontré une précision particulièrement faible dans la catégorie évaluer/créer, à 79,69 %.
Aucune différence statistiquement significative n’a été observée dans la performance du modèle lors de la comparaison des questions à choix multiples et des questions à remplir. Seules 15 questions utilisaient ce dernier format, ce qui limitait cette comparaison. L’inclusion d’images était associée à une baisse substantielle de la précision. Les modèles ont répondu correctement à 45 des 65 réponses aux questions contenant des images (précision de 69,2 %), contre 979 des 1 070 réponses aux questions contenant uniquement du texte (précision de 91,5 %) ; p
L’accord inter-modèles, évalué à l’aide du coefficient kappa de Cohen, variait de 0,497 à 0,613, indiquant un accord globalement modéré, l’appariement le plus fort atteignant la catégorie de bon accord des auteurs. ChatGPT-4.1 et Copilot ont démontré l’accord le plus élevé (κ = 0,613), tandis que ChatGPT-4o-mini a montré l’accord le plus faible avec Claude et Copilot (κ = 0,497). Les résultats ont indiqué qu’une précision globale similaire ne signifiait pas nécessairement que les modèles répondaient correctement aux mêmes questions individuelles.
Les résultats ont des implications pour la formation en pharmacie. Ils ont suggéré que les étudiants pourraient utiliser les LLM pour générer des explications et des questions pratiques, tandis que comparer les réponses de différents modèles pourrait aider à développer des compétences d’évaluation critiques. Les auteurs ont conseillé aux étudiants de vérifier les informations générées par l’IA par rapport à des références fiables. Les auteurs ont discuté des préoccupations concernant l’intégrité académique, le déchargement cognitif et les effets possibles d’une dépendance excessive à l’IA pendant l’apprentissage. Il s’agissait de préoccupations éducatives discutées par les auteurs, plutôt que de résultats directement mesurés dans l’étude.
Conclusions
L’étude a démontré que cinq LLM évalués ont atteint une précision globale élevée lorsqu’ils ont répondu aux questions d’examen pharmaceutique liées aux maladies infectieuses, avec des différences relativement mineures entre les modèles. Les performances variaient selon les domaines et les niveaux cognitifs, avec une précision moindre en chimie médicinale, en microbiologie clinique, en raisonnement d’ordre supérieur et en questions basées sur des images. Un accord modéré entre les modèles a en outre souligné la nécessité de vérifier de manière indépendante les réponses générées par l’IA plutôt que de s’appuyer sur un seul système. L’exactitude des questions d’examen n’établit pas la fiabilité ou la sécurité des recommandations cliniques. Les résultats soutiennent l’utilisation potentielle des LLM comme ressources pédagogiques supplémentaires, à condition que les professeurs offrent des conseils appropriés.
L’étude était limitée aux questions d’un seul programme de pharmacie, avec une couverture inégale des sujets et seulement 13 questions contenant des images. La formulation des questions peut affecter les réponses du modèle, et les résultats reflètent les tests effectués entre mai et juillet 2025 plutôt que les mises à jour ultérieures du modèle. Des recherches pédagogiques plus poussées devraient examiner l’intégration efficace de l’IA tout en minimisant la désinformation et la dépendance excessive à l’égard de ces technologies.
