Une récente JAMA L’étude examine si l’intelligence artificielle (IA) systématiquement biaisée a eu un impact sur la précision du diagnostic des cliniciens et si les explications du modèle d’IA basées sur l’image peuvent réduire les erreurs de modèle.
Étude: Mesurer l’impact de l’IA sur le diagnostic des patients hospitalisés Une étude d’enquête par vignette clinique randomisée. Crédit d’image : PeopleImages.com – Yuri A/Shutterstock.com
Sommaire
Arrière-plan
La capacité de l’IA à identifier des anomalies ou des maladies dans des images cliniques a été discutée dans des études antérieures. Ces études ont révélé que les outils basés sur l’IA peuvent détecter la rétinopathie diabétique à partir d’images du fond d’œil, la pneumonie à partir de radiographies thoraciques et le cancer de la peau à partir d’images histopathologiques.
Par rapport aux diagnostics des cliniciens sans IA, l’intégration de modèles d’IA dans la prise de décision clinique pourrait aboutir à des diagnostics plus précis. Cependant, l’utilisation de modèles d’IA systématiquement biaisés qui ont systématiquement mal diagnostiqué les patients peut potentiellement nuire aux patients. Par exemple, une étude précédente a rapporté qu’un modèle d’IA sous-diagnostiquait systématiquement les maladies cardiaques chez les patientes.
Idéalement, les cliniciens doivent suivre les prédictions de l’IA lorsqu’elles sont correctes, mais les ignorer lorsqu’elles ne le sont pas. Une dépendance excessive à l’égard de modèles d’IA biaisés affectera le diagnostic du clinicien. Il est important de comprendre si l’application de l’IA pour soutenir les décisions diagnostiques est sûre.
Récemment, l’incorporation d’explications de l’IA pour interpréter les prédictions du modèle pourrait aider les cliniciens à comprendre la logique d’un modèle avant de l’envisager pour des décisions cliniques. Des explications appropriées pour les prédictions de l’IA pourraient minimiser le développement de modèles systématiquement biaisés. Par exemple, les explications basées sur des images fournies par les modèles pour étayer leur décision ont aidé les cliniciens à évaluer l’exactitude diagnostique des modèles d’IA.
À propos de l’étude
L’étude actuelle a évalué si les explications de l’IA augmentaient la précision du diagnostic des cliniciens et réduisaient le développement de modèles systématiquement biaisés. Pour ceux-ci, une enquête randomisée en ligne sur des vignettes cliniques a été menée.
Des médecins hospitaliers, des assistants médicaux et des infirmières praticiennes associés à la prise en charge de patients souffrant d’insuffisance respiratoire aiguë ont été recrutés. Au total, 45 vignettes cliniques ont été créées sur la base de patients hospitalisés souffrant d’insuffisance respiratoire aiguë en 2017.
Les antécédents médicaux de chaque patient ont été évalués pour mieux comprendre leurs antécédents médicaux passés et présents. Au moins quatre pneumologues ont examiné de manière indépendante le dossier médical du patient.
Tous les participants ont suivi le même ordre de vignettes, dans lequel deux vignettes ont été créées sans prédictions d’IA, six vignettes avec prédictions d’IA et une vignette avec une consultation clinique. Les participants ont été randomisés pour recevoir des prédictions d’IA avec ou sans explications d’IA pour six vignettes d’IA.
Après chaque vignette, les participants ont été invités à noter sur une échelle de zéro à 100 la probabilité qu’une insuffisance cardiaque, une pneumonie ou une BPCO soit le facteur contribuant à l’insuffisance respiratoire du patient. Ces réponses ont été collectées en continu pour calculer l’association entre les scores du modèle d’IA et les réponses des participants.
Résultats de l’étude
Sur 1 024 participants, 457 ont rempli au moins une vignette et ont été inclus dans l’analyse primaire ; cependant, 418 participants ont rempli les neuf vignettes. Il est important de noter que les données démographiques des participants ne différaient pas de manière significative entre les groupes randomisés.
La spécialisation de la plupart des participants était la médecine hospitalière. L’âge moyen des participants était de 34 ans et environ 58 % de la cohorte était des femmes. Seulement 13 % de la cohorte ont interagi positivement avec les outils d’aide à la décision clinique, alors que la majorité n’était pas consciente des biais systématiques des modèles d’IA.
Les résultats de l’étude indiquent que la précision du diagnostic des cliniciens s’améliore lorsque les modèles d’IA fonctionnent avec précision pour les prédictions cliniques et diminue en présence de prédictions d’IA systématiquement biaisées. Les explications de l’IA n’ont pas amélioré de manière significative les effets néfastes des modèles biaisés sur la précision du diagnostic d’un clinicien, estimés à environ 81 %. Par conséquent, une combinaison de modèles d’IA et de cliniciens pourrait être utilisée efficacement pour des tâches de diagnostic complexes.
L’explication n’a pas pu atténuer les erreurs puisque le modèle d’IA reposait entièrement sur des caractéristiques sans rapport avec l’état clinique. Cependant, certaines études ont suggéré que des explications de pointe pourraient améliorer les instructions utilisateur-IA. La plus grande possibilité que les utilisateurs soient trompés par des modèles d’IA incompétents a été soulignée, principalement parce que beaucoup n’ont pas compris les explications simples des modèles.
En raison de leurs connaissances limitées en IA, les cliniciens n’ont pas réussi à comprendre et à prendre en compte les explications des modèles. De plus, ces modèles doivent être entraînés pour fournir de meilleures explications basées sur des images.
Conclusions
Bien que les prédictions et les explications des modèles d’IA aient amélioré la précision du diagnostic, les prédictions biaisées ont eu un impact sur la précision du diagnostic. Il est donc essentiel de valider les modèles d’IA avant leur intégration dans les milieux cliniques.
