Dans une étude récente publiée dans Nature Medicine, des chercheurs ont développé le modèle de base du Medical Concept Retriever (MONET), qui relie les images médicales au texte et évalue les images en fonction de leur existence d'idées, ce qui facilite les tâches critiques du développement de l'intelligence artificielle médicale (IA) et mise en œuvre.
Étude: Prédiction de l’origine tumorale dans les cancers d’origine primaire inconnue grâce à l’apprentissage profond basé sur la cytologie. Crédit d’image : LALAKA/Shutterstock.com
Sommaire
Arrière-plan
La création de systèmes d'intelligence artificielle médicale fiables basés sur des images nécessite l'analyse d'informations et de modèles de réseaux neuronaux à chaque niveau de développement, de la phase de formation à la phase post-déploiement.
Des ensembles de données médicales richement annotées contenant des idées sémantiquement pertinentes pourraient démystifier les technologies de la « boîte noire ».
Comprendre des notions cliniquement significatives telles que la pigmentation plus foncée, les réseaux pigmentaires atypiques et les couleurs multiples est médicalement bénéfique ; cependant, obtenir des étiquettes demande des efforts, et la plupart des ensembles d’informations médicales ne fournissent que des annotations diagnostiques.
À propos de l'étude
Dans la présente étude, les chercheurs ont créé MONET, un modèle d’IA capable d’annoter des images médicales avec des idées médicalement pertinentes. Ils ont conçu le modèle pour identifier diverses idées compréhensibles par l'homme à travers deux modalités d'image en dermatologie : les images dermoscopiques et cliniques.
Les chercheurs ont rassemblé 105 550 paires image-texte dermatologiques à partir d’articles PubMed et de manuels médicaux, suivis d’une formation MONET à l’aide de 105 550 photos liées à la dermatologie et de données en langage naturel provenant d’une base de données de littérature médicale à grande échelle.
MONET attribue des notes aux photos pour chaque idée, qui indiquent dans quelle mesure l'image représente la notion.
MONET, basé sur l'apprentissage de type contrastif, est une approche d'intelligence artificielle qui permet d'appliquer directement la description en langage clair aux images.
Cette méthode évite l’étiquetage manuel, permettant d’obtenir des informations massives sur les paires image-texte à une échelle considérablement plus grande que celle possible avec un apprentissage de type supervisé. Après la formation MONET, les chercheurs ont évalué son efficacité dans les annotations et d’autres cas d’utilisation liés à la transparence de l’IA.
Les chercheurs ont testé les capacités d'annotation de concepts de MONET en sélectionnant les photos les plus conceptuelles à partir d'images dermoscopiques et cliniques.
Ils ont comparé les performances de MONET à des stratégies d'apprentissage supervisé impliquant la formation de modèles ResNet-50 avec des étiquettes conceptuelles de vérité terrain et le modèle de pré-entraînement contrasté langage-image (CLIP) d'OpenAI.
Les chercheurs ont également utilisé MONET pour automatiser l’évaluation des données et testé son efficacité dans l’analyse différentielle des concepts.
Ils ont utilisé MONET pour analyser les données de l'International Skin Imaging Collaboration (ISIC), la plus vaste collection d'images dermoscopiques avec plus de 70 000 images accessibles au public, couramment utilisées pour former des modèles d'IA dermatologique.
Les chercheurs ont développé un audit de modèle utilisant MONET (MA-MONET) en utilisant MONET pour la détection automatique de concepts médicaux sémantiquement pertinents et d'erreurs de modèle.
Les chercheurs ont évalué MONET-MA dans des contextes réels en entraînant des modèles CNN sur des données provenant de plusieurs universités et en évaluant leur annotation de concept automatisée.
Ils ont comparé la méthode de notation automatique des idées « MONET + CBM » à la méthode d'étiquetage humain, qui s'applique exclusivement aux photos contenant des étiquettes SkinCon.
Les chercheurs ont également étudié l'effet de la sélection de concepts sur les performances de MONET + CBM, en particulier les idées pertinentes pour les tâches dans les couches de goulot d'étranglement. En outre, ils ont évalué l’impact de l’intégration du concept de rouge dans le goulot d’étranglement sur les performances de MONET+CBM dans des scénarios de transfert interinstitutionnel.
Résultats
MONET est une plate-forme d'IA médicale flexible qui peut annoter de manière appropriée des idées sur des images dermatologiques, comme l'ont confirmé des dermatologues certifiés.
Sa fonction d'annotation de concepts permet des évaluations de fiabilité pertinentes dans l'ensemble du pipeline d'intelligence artificielle médicale, comme le prouvent les audits de modèles, les audits de données et les développements de modèles interprétables.
MONET trouve avec succès des images dermoscopiques et cliniques appropriées pour divers mots-clés dermatologiques, battant le modèle CLIP de base dans les deux domaines. MONET a surpassé CLIP pour les images dermoscopiques et cliniques tout en restant équivalent aux modèles d'apprentissage supervisé pour les images cliniques.
La fonctionnalité d'annotation automatisée de MONET facilite l'identification de traits différenciateurs entre deux groupes arbitraires d'images dans un langage lisible par l'homme lors de l'analyse différentielle des idées.
Les chercheurs ont découvert que MONET reconnaît les idées exprimées de manière différentielle dans les ensembles de données cliniques et dermoscopiques et peut faciliter l’audit des ensembles de données à grande échelle.
L'utilisation de MA-MONET a révélé des caractéristiques liées à des taux d'erreur élevés, comme un groupe de photos étiquetées voile bleu-blanchâtre, bleu, noir, gris et à dessus plat.
Les chercheurs ont identifié le groupe présentant le taux d'erreur le plus élevé en termes d'érythème, de structure de régression, de rouge, d'atrophie et d'hyperpigmentation. Les dermatologues ont choisi dix idées liées aux cibles pour les couches de goulot d'étranglement MONET+CBM et CLIP+CBM, permettant ainsi des options d'étiquetage flexibles.
MONET+CBM dépasse toutes les lignes de base concernant l'aire moyenne sous la courbe caractéristique de fonctionnement du récepteur (AUROC) pour prédire la malignité et le mélanome dans les tableaux cliniques. Les modèles supervisés en boîte noire ont constamment surpassé les tests de prédiction du cancer et du mélanome.
Conclusion
L’étude a révélé que les modèles image-texte peuvent accroître la transparence et la fiabilité de l’IA dans le domaine médical. MONET, une plateforme d'annotation de concepts médicaux, peut améliorer la transparence et la fiabilité de l'IA dermatologique en permettant l'annotation d'idées à grande échelle.
Les développeurs de modèles d’IA peuvent améliorer les procédures de collecte, de traitement et d’optimisation des données, ce qui aboutira à des modèles d’IA médicale plus fiables.
MONET peut influencer le déploiement clinique et la surveillance des systèmes d’IA d’images médicales en permettant un audit complet et une analyse de l’équité grâce à l’annotation des descripteurs de teint.
