Les modèles d'intelligence artificielle jouent souvent un rôle dans les diagnostics médicaux, notamment lorsqu'il s'agit d'analyser des images telles que des rayons X. Cependant, des études ont montré que ces modèles ne fonctionnent pas toujours bien dans tous les groupes démographiques, et qu'ils sont généralement moins performants chez les femmes et les personnes de couleur.
Il a également été démontré que ces modèles développent des capacités surprenantes. En 2022, des chercheurs du MIT ont rapporté que les modèles d'IA peuvent faire des prédictions précises sur la race d'un patient à partir de ses radiographies pulmonaires – ; quelque chose que les radiologues les plus qualifiés ne peuvent pas faire.
Cette équipe de recherche a maintenant découvert que les modèles les plus précis pour faire des prévisions démographiques montrent également les plus grands « écarts d'équité » – ; c'est-à-dire des divergences dans leur capacité à diagnostiquer avec précision des images de personnes de races ou de sexes différents. Les résultats suggèrent que ces modèles pourraient utiliser des « raccourcis démographiques » lors de leurs évaluations diagnostiques, ce qui conduit à des résultats incorrects pour les femmes, les Noirs et d'autres groupes, affirment les chercheurs.
« Il est bien établi que les modèles d’apprentissage automatique à haute capacité sont de bons prédicteurs de données démographiques humaines telles que la race, le sexe ou l’âge autodéclarés. Cet article démontre à nouveau cette capacité, puis relie cette capacité au manque de performance dans différents groupes, ce qui n’a jamais été fait », explique Marzyeh Ghassemi, professeur associé de génie électrique et d’informatique au MIT, membre de l’Institute for Medical Engineering and Science du MIT et auteur principal de l’étude.
Les chercheurs ont également découvert qu'ils pouvaient reformer les modèles de manière à améliorer leur équité. Cependant, leur approche de « débiaising » a donné de meilleurs résultats lorsque les modèles ont été testés sur les mêmes types de patients sur lesquels ils avaient été formés, par exemple des patients du même hôpital. Lorsque ces modèles ont été appliqués à des patients d'hôpitaux différents, les écarts d'équité sont réapparus.
Je pense que les principaux points à retenir sont les suivants : premièrement, vous devez évaluer soigneusement tous les modèles externes sur vos propres données, car les garanties d'équité fournies par les développeurs de modèles sur leurs données d'entraînement peuvent ne pas être transférables à votre population. Deuxièmement, chaque fois que suffisamment de données sont disponibles, vous devez entraîner les modèles sur vos propres données.
Haoran Zhang, étudiant diplômé du MIT et l'un des principaux auteurs du nouvel article
Yuzhe Yang, étudiant diplômé du MIT, est également l'un des principaux auteurs de l'article, qui paraîtra dans Médecine naturelleJudy Gichoya, professeure associée de radiologie et de sciences de l'imagerie à la faculté de médecine de l'université Emory, et Dina Katabi, professeure Thuan et Nicole Pham de génie électrique et d'informatique au MIT, sont également auteurs de l'article.
Éliminer les préjugés
En mai 2024, la FDA avait approuvé 882 dispositifs médicaux dotés d’IA, dont 671 conçus pour être utilisés en radiologie. Depuis 2022, lorsque Ghassemi et ses collègues ont montré que ces modèles de diagnostic peuvent prédire avec précision la race, eux et d’autres chercheurs ont montré que ces modèles sont également très efficaces pour prédire le sexe et l’âge, même s’ils ne sont pas entraînés à ces tâches.
« De nombreux modèles d’apprentissage automatique populaires ont une capacité de prédiction démographique surhumaine : les radiologues ne peuvent pas détecter l’origine ethnique autodéclarée à partir d’une radiographie thoracique », explique Ghassemi. « Ces modèles sont efficaces pour prédire les maladies, mais au cours de leur formation, ils apprennent à prédire d’autres choses qui peuvent ne pas être souhaitables. » Dans cette étude, les chercheurs ont cherché à savoir pourquoi ces modèles ne fonctionnent pas aussi bien pour certains groupes. Ils voulaient notamment voir si les modèles utilisaient des raccourcis démographiques pour faire des prédictions qui finissaient par être moins précises pour certains groupes. Ces raccourcis peuvent apparaître dans les modèles d’IA lorsqu’ils utilisent des attributs démographiques pour déterminer si une condition médicale est présente, au lieu de s’appuyer sur d’autres caractéristiques des images.
En utilisant des ensembles de données de radiographies thoraciques accessibles au public provenant du Beth Israel Deaconess Medical Center de Boston, les chercheurs ont formé des modèles pour prédire si les patients souffraient de l'une des trois pathologies suivantes : accumulation de liquide dans les poumons, collapsus pulmonaire ou hypertrophie du cœur. Ils ont ensuite testé les modèles sur des radiographies qui leur avaient été présentées à partir des données de formation.
Dans l'ensemble, les modèles ont bien fonctionné, mais la plupart d'entre eux ont affiché des « écarts d'équité » – ; c'est-à-dire des écarts entre les taux d'exactitude pour les hommes et les femmes, et entre les patients blancs et noirs.
Les modèles étaient également capables de prédire le sexe, la race et l’âge des sujets radiographiés. De plus, il existait une corrélation significative entre l'exactitude de chaque modèle dans ses prévisions démographiques et l'ampleur de son écart d'équité. Cela suggère que les modèles pourraient utiliser les catégorisations démographiques comme raccourci pour faire leurs prédictions sur les maladies.
Les chercheurs ont ensuite tenté de réduire les écarts d’équité en utilisant deux types de stratégies. Pour un ensemble de modèles, ils les ont formés à optimiser la « robustesse des sous-groupes », ce qui signifie que les modèles sont récompensés pour leurs meilleures performances sur le sous-groupe pour lequel ils ont les pires performances, et pénalisés si leur taux d'erreur pour un groupe est supérieur au taux d'erreur. autres.
Dans un autre ensemble de modèles, les chercheurs les ont forcés à supprimer toute information démographique des images, en utilisant des approches « contradictoires de groupe ». Ces deux stratégies ont plutôt bien fonctionné, ont découvert les chercheurs.
« Pour les données de distribution, vous pouvez utiliser les méthodes de pointe existantes pour réduire les écarts d'équité sans faire de compromis significatifs sur les performances globales », explique Ghassemi. « Les méthodes de robustesse des sous-groupes obligent les modèles à être sensibles aux prédictions erronées d'un groupe spécifique, et les méthodes contradictoires de groupe tentent de supprimer complètement les informations de groupe. »
Pas toujours plus juste
Cependant, ces approches n'ont fonctionné que lorsque les modèles ont été testés sur des données provenant des mêmes types de patients sur lesquels ils ont été formés – ; par exemple, uniquement les patients de l'ensemble de données du Beth Israel Deaconess Medical Center.
Lorsque les chercheurs ont testé les modèles « débiaisés » à l’aide des données BIDMC pour analyser les patients de cinq autres ensembles de données hospitalières, ils ont constaté que la précision globale des modèles restait élevée, mais que certains d’entre eux présentaient d’importants écarts d’équité.
« Si vous corrigez le biais du modèle dans un groupe de patients, cette équité ne tient pas nécessairement lorsque vous passez à un nouvel ensemble de patients provenant d'un autre hôpital situé dans un autre endroit », explique Zhang.
Ceci est inquiétant car dans de nombreux cas, les hôpitaux utilisent des modèles développés à partir de données provenant d’autres hôpitaux, en particulier dans les cas où un modèle standard est acheté, disent les chercheurs.
« Nous avons constaté que même les modèles de pointe qui sont performants de manière optimale dans des données similaires à leurs ensembles d'entraînement ne sont pas optimaux – ; c'est-à-dire qu'ils ne font pas le meilleur compromis entre les performances globales et celles des sous-groupes – ; dans le roman paramètres », explique Ghassemi. « Malheureusement, c'est en fait ainsi qu'un modèle est susceptible d'être déployé. La plupart des modèles sont formés et validés avec les données d'un hôpital ou d'une source, puis déployés à grande échelle. »
Les chercheurs ont constaté que les modèles qui ont été biaisés à l'aide d'approches contradictoires de groupe ont montré légèrement plus d'équité lorsqu'ils ont été testés sur de nouveaux groupes de patients que ceux qui ont été biaisés avec des méthodes de robustesse de sous-groupes. Ils prévoient maintenant d’essayer de développer et de tester des méthodes supplémentaires pour voir s’ils peuvent créer des modèles permettant de mieux faire des prédictions équitables sur de nouveaux ensembles de données.
Les résultats suggèrent que les hôpitaux qui utilisent ces types de modèles d’IA devraient les évaluer sur leur propre population de patients avant de commencer à les utiliser, afin de s’assurer qu’ils ne donnent pas de résultats inexacts pour certains groupes.
La recherche a été financée par un Google Research Scholar Award, le programme de développement du corps professoral médical Harold Amos de la Fondation Robert Wood Johnson, le RSNA Health Disparities, le Lacuna Fund, la Fondation Gordon et Betty Moore, l'Institut national d'imagerie biomédicale et de bio-ingénierie et le National Institute of Biomedical Imaging and Bioengineering. Institut du cœur, des poumons et du sang.
