Lorsqu'ils prennent des décisions diagnostiques, les radiologues et autres médecins peuvent trop s'appuyer sur l'intelligence artificielle (IA) lorsqu'elle souligne un domaine d'intérêt spécifique dans une radiographie, selon une étude publiée aujourd'hui dans Radiologieune revue de la Radiological Society of North America (RSNA).
« En 2022, 190 logiciels d'IA en radiologie ont été approuvés par la Food and Drug Administration des États-Unis », a déclaré l'un des auteurs principaux de l'étude, Paul H. Yi, MD, directeur de l'informatique d'imagerie intelligente et membre associé du département de radiologie de Hôpital de recherche pour enfants St. Jude à Memphis, Tennessee. « Cependant, un écart entre la validation de principe de l'IA et son utilisation clinique réelle est apparu. Pour combler cet écart, il est primordial de favoriser une confiance appropriée dans les conseils en matière d'IA. »
Dans l’étude prospective multisite, 220 radiologues et médecins de médecine interne/urgentistes (132 radiologues) ont lu des radiographies pulmonaires parallèlement aux conseils de l’IA. Chaque médecin a été chargé d'évaluer huit cas de radiographie pulmonaire ainsi que les suggestions d'un assistant simulé d'IA avec des performances diagnostiques comparables à celles des experts dans le domaine. Les vignettes cliniques présentaient des images de radiographie thoracique frontale et, si disponibles, latérales correspondantes obtenues de l'hôpital Beth Israel Deaconess de Boston via la base de données open source MIMI Chest X-Ray. Un panel de radiologues a sélectionné un ensemble de cas simulant la pratique clinique réelle.
Pour chaque cas, les participants se sont vu présenter les antécédents cliniques du patient, les conseils de l'IA et des images radiographiques. L'IA a fourni un diagnostic correct ou incorrect avec des explications locales ou globales. Dans une explication locale, l’IA met en évidence les parties de l’image jugées les plus importantes. Pour des explications globales, l’IA fournit des images similaires de cas précédents pour montrer comment elle est parvenue à son diagnostic.
Ces explications locales guident directement le médecin vers la zone concernée en temps réel. Dans notre étude, l’IA a littéralement encadré les zones de pneumonie ou d’autres anomalies. »
Dr Paul H. Yi, MD, directeur de l'informatique d'imagerie intelligente et membre associé du service de radiologie de l'hôpital de recherche pour enfants St. Jude
Les évaluateurs pouvaient accepter, modifier ou rejeter les suggestions de l'IA. Il leur a également été demandé d'indiquer leur niveau de confiance dans les résultats et les impressions et de classer l'utilité des conseils de l'IA.
À l’aide de modèles à effets mixtes, les co-premiers auteurs de l’étude, Drew Prinster, MS, et Amama Mahmood, MS, Ph.D. en informatique. étudiants de l'Université Johns Hopkins de Baltimore, ont conduit les chercheurs à analyser les effets des variables expérimentales sur la précision du diagnostic, l'efficacité, la perception des médecins de l'utilité de l'IA et la « simple confiance » (la rapidité avec laquelle un utilisateur a accepté ou désapprouvé les conseils de l'IA). Les chercheurs ont contrôlé des facteurs tels que les données démographiques des utilisateurs et l’expérience professionnelle.
Les résultats ont montré que les évaluateurs étaient plus susceptibles d’aligner leur décision diagnostique sur les conseils de l’IA et que leur période d’examen était plus courte lorsque l’IA fournissait des explications locales.
« Par rapport aux explications globales de l'IA, les explications locales ont donné une meilleure précision du diagnostic du médecin lorsque les conseils de l'IA étaient corrects », a déclaré le Dr Yi. « Ils ont également augmenté l'efficacité globale du diagnostic en réduisant le temps passé à prendre en compte les conseils de l'IA. »
Lorsque les conseils de l’IA étaient corrects, la précision moyenne du diagnostic parmi les évaluateurs était de 92,8 % avec des explications locales et de 85,3 % avec des explications globales. Lorsque les conseils de l’IA étaient incorrects, l’exactitude des médecins était de 23,6 % pour les explications locales et de 26,1 % pour les explications globales.
« Lorsqu'on leur a fourni des explications locales, les radiologues et les non-radiologues participant à l'étude avaient tendance à faire confiance plus rapidement au diagnostic de l'IA, quelle que soit l'exactitude des conseils de l'IA », a déclaré le Dr Yi.
Le co-auteur principal de l'étude, Chien-Ming Huang, Ph.D., professeur adjoint John C. Malone au Département d'informatique de l'Université Johns Hopkins, a souligné que cette confiance dans l'IA pourrait être une arme à double tranchant car elle risque une dépendance excessive ou un biais d’automatisation.
« Lorsque nous nous appuyons trop sur ce que l'ordinateur nous dit, c'est un problème, car l'IA n'a pas toujours raison », a déclaré le Dr Yi. « Je pense qu'en tant que radiologues utilisant l'IA, nous devons être conscients de ces pièges et rester attentifs à nos modèles de diagnostic et à notre formation. »
Sur la base de l'étude, le Dr Yi a déclaré que les développeurs de systèmes d'IA devraient examiner attentivement l'impact des différentes formes d'explication de l'IA sur le recours aux conseils en matière d'IA.
« Je pense vraiment que la collaboration entre l'industrie et les chercheurs en soins de santé est essentielle », a-t-il déclaré. « J'espère que cet article entamera un dialogue et de futures collaborations de recherche fructueuses. »
« Vous souhaitez expliquer ? Les types d'explications de l'IA ont un impact différentiel sur les performances diagnostiques des radiographies thoraciques et la confiance des médecins dans l'IA. » Les collaborateurs du Dr Yi, du Dr Huang, Prinster et Mahmood étaient Suchi Saria, Ph.D., Jean Jeudy, MD, et Cheng Ting Lin, MD.
