Un nouveau modèle d’intelligence artificielle (IA) combine les informations d’imagerie avec les données cliniques des patients pour améliorer les performances diagnostiques sur les radiographies pulmonaires, selon une étude publiée dans Radiologieune revue de la Radiological Society of North America (RSNA).
Les cliniciens prennent en compte à la fois les données d’imagerie et les données non-imagerie lors du diagnostic des maladies. Cependant, les approches actuelles basées sur l’IA sont conçues pour résoudre des tâches avec un seul type de données à la fois.
Les réseaux neuronaux basés sur des transformateurs, une classe relativement nouvelle de modèles d’IA, ont la capacité de combiner des données d’imagerie et non-imagerie pour un diagnostic plus précis. Ces modèles de transformateurs ont été initialement développés pour le traitement informatique du langage humain. Depuis, ils ont alimenté de grands modèles de langage comme ChatGPT et le service de chat AI de Google, Bard.
Contrairement aux réseaux neuronaux convolutifs, qui sont adaptés pour traiter les données d’imagerie, les modèles de transformateur forment un type plus général de réseau neuronal. Ils s’appuient sur un mécanisme dit d’attention, qui permet au réseau neuronal d’en apprendre davantage sur les relations entre ses entrées. »
Firas Khader, M.Sc., auteur principal de l’étude, Ph.D. étudiant au département de radiologie diagnostique et interventionnelle de l’hôpital universitaire d’Aix-la-Chapelle, en Allemagne
Cette fonctionnalité est idéale pour la médecine, où plusieurs variables telles que les données des patients et les résultats d’imagerie sont souvent intégrées au diagnostic.
Khader et ses collègues ont développé un modèle de transformateur adapté à un usage médical. Ils l’ont formé sur des données de patients d’imagerie et non-imagerie provenant de deux bases de données contenant des informations sur un total combiné de plus de 82 000 patients.
Les chercheurs ont formé le modèle pour diagnostiquer jusqu’à 25 conditions à l’aide de données non-imagerie, de données d’imagerie ou d’une combinaison des deux, appelées données multimodales.
Comparé aux autres modèles, le modèle multimodal a montré des performances diagnostiques améliorées pour toutes les conditions.
Le modèle a le potentiel d’aider les cliniciens à une époque de charges de travail croissantes.
« Avec l’augmentation constante des volumes de données sur les patients au fil des années et le temps limité que les médecins peuvent consacrer à chaque patient, il pourrait devenir de plus en plus difficile pour les cliniciens d’interpréter efficacement toutes les informations disponibles », a déclaré Khader. « Les modèles multimodaux promettent d’aider les cliniciens dans leur diagnostic en facilitant l’agrégation des données disponibles dans un diagnostic précis. »
Le modèle proposé pourrait servir de modèle pour intégrer de manière transparente de gros volumes de données, a déclaré Khader.
« Apprentissage profond multimodal pour l’intégration des radiographies thoraciques et des paramètres cliniques – Un argument en faveur des transformateurs. » Les collaborateurs du Dr Khader étaient Gustav Müller-Franzes, M.Sc., Tianci Wang, B.Sc., Tianyu Han, M.Sc., Soroosh Tayebi Arasteh, M.Sc., Christoph Haarburger, Ph.D., Johannes Stegmaier, Ph.D., Keno Bressem, MD, Christiane Kuhl, MD, Sven Nebelung, MD, Jakob Nikolas Kather, MD, et Daniel Truhn, MD, Ph.D.
