La fusion d'informations visuelles (images microscopiques et radiographiques, tomodensitométrie et IRM, par exemple) avec du texte (notes d'examen, communications entre médecins de différentes spécialités) est un élément clé des soins contre le cancer. Mais si l’intelligence artificielle aide les médecins à examiner les images et à détecter les anomalies associées à une maladie, comme des cellules de forme anormale, il est difficile de développer des modèles informatisés pouvant incorporer plusieurs types de données.
Aujourd’hui, des chercheurs de Stanford Medicine ont développé un modèle d’IA capable d’incorporer des informations visuelles et linguistiques. Après une formation sur 50 millions d'images médicales de diapositives de pathologie standard et plus d'un milliard de textes liés à la pathologie, le modèle a surpassé les méthodes standard dans sa capacité à prédire le pronostic de milliers de personnes atteintes de divers types de cancer, à identifier les personnes atteintes de cancer du poumon ou du cancer. Les cancers gastro-œsophagiens bénéficieront probablement de l’immunothérapie et permettront d’identifier les personnes atteintes de mélanome les plus susceptibles de connaître une récidive de leur cancer.
Les chercheurs ont nommé le modèle MUSK, pour transformateur multimodal avec modélisation de masque unifiée. MUSK représente un écart marqué par rapport à la manière dont l’intelligence artificielle est actuellement utilisée dans les milieux de soins cliniques, et les chercheurs pensent qu’elle est en passe de transformer la façon dont l’intelligence artificielle peut guider les soins aux patients.
MUSK peut prédire avec précision le pronostic des personnes atteintes de différents types et stades de cancer. Nous avons conçu MUSK parce que, dans la pratique clinique, les médecins ne s’appuient jamais sur un seul type de données pour prendre des décisions cliniques. Nous voulions exploiter plusieurs types de données pour obtenir plus d’informations et obtenir des prédictions plus précises sur les résultats pour les patients. »
Ruijiang Li, MD, professeur agrégé de radio-oncologie
Li, qui est membre du Stanford Cancer Institute, est l'auteur principal de l'étude, publiée le 8 janvier dans Nature. Les chercheurs postdoctoraux Jinxi Xiang, PhD, et Xiyue Wang, PhD, sont les principaux auteurs de la recherche.
Bien que les outils d'intelligence artificielle soient de plus en plus utilisés en clinique, ils sont principalement destinés au diagnostic (cette image au microscope ou cette analyse montre-t-elle des signes de cancer ?) plutôt qu'au pronostic (quel est l'issue clinique probable de cette personne et quelle thérapie est la plus efficace). pour un particulier ?).
Une partie du défi réside dans la nécessité d'entraîner les modèles sur de grandes quantités de données étiquetées (il s'agit d'une lame de microscope d'une tranche de tissu pulmonaire présentant une tumeur cancéreuse, par exemple) et de données appariées (voici les notes cliniques sur le patient de chez qui la tumeur a été obtenue). Mais il est difficile d’obtenir des ensembles de données soigneusement organisés et annotés.
Outil disponible dans le commerce
En termes d’intelligence artificielle, MUSK est ce qu’on appelle un modèle de base. Les modèles de base pré-entraînés sur de grandes quantités de données peuvent être personnalisés avec une formation supplémentaire pour effectuer des tâches spécifiques. Étant donné que les chercheurs ont conçu MUSK pour utiliser des données multimodales non appariées qui ne répondent pas aux exigences traditionnelles de formation de l'intelligence artificielle, le pool de données que l'ordinateur peut utiliser pour « apprendre » au cours de sa formation initiale est élargi de plusieurs ordres de grandeur. Avec cette longueur d'avance, toute formation ultérieure est réalisée avec des ensembles de données beaucoup plus petits et plus spécialisés. En effet, MUSK est un outil disponible dans le commerce que les médecins peuvent affiner pour répondre à des questions cliniques spécifiques.
« Le plus grand besoin clinique non satisfait concerne les modèles que les médecins peuvent utiliser pour guider le traitement des patients », a déclaré Li. « Ce patient a-t-il besoin de ce médicament ? Ou devrions-nous plutôt nous concentrer sur un autre type de thérapie ? Actuellement, les médecins utilisent des informations telles que le stade de la maladie et des gènes ou protéines spécifiques pour prendre ces décisions, mais ce n'est pas toujours exact. »
Les chercheurs ont collecté des lames microscopiques de coupes de tissus, les rapports de pathologie associés et des données de suivi (y compris l'évolution des patients) à partir de la base de données nationale The Cancer Genome Atlas pour les personnes atteintes de 16 principaux types de cancer, notamment du sein, du poumon, colorectal et du pancréas. , rein, vessie, tête et cou. Ils ont utilisé ces informations pour entraîner MUSK à prédire la survie spécifique à une maladie, ou le pourcentage de personnes qui ne sont pas décédées d'une maladie spécifique au cours d'une période définie.
Pour tous les types de cancer, MUSK a prédit avec précision la survie spécifique d’un patient dans 75 % des cas. En revanche, les prédictions standards basées sur le stade du cancer d'une personne et d'autres facteurs de risque cliniques étaient correctes dans 64 % des cas.
Dans un autre exemple, les chercheurs ont entraîné MUSK à utiliser des milliers d’informations pour prédire quels patients atteints d’un cancer du poumon ou des voies gastriques et œsophagiennes sont les plus susceptibles de bénéficier de l’immunothérapie.
« Actuellement, la principale décision quant à l'opportunité d'administrer à un patient un type particulier d'immunothérapie repose sur le fait que la tumeur de cette personne exprime une protéine appelée PD-L1 », a déclaré Li. « Il s'agit d'un biomarqueur composé d'une seule protéine. En revanche, si nous pouvons utiliser l'intelligence artificielle pour évaluer des centaines ou des milliers de bits de nombreux types de données, y compris l'imagerie tissulaire, ainsi que les données démographiques des patients, leurs antécédents médicaux, leurs traitements antérieurs et leurs tests de laboratoire. recueillies à partir de notes cliniques, nous pouvons déterminer avec beaucoup plus de précision qui pourrait en bénéficier.
Pour le cancer du poumon non à petites cellules, MUSK a correctement identifié les patients ayant bénéficié d’un traitement d’immunothérapie dans environ 77 % des cas. En revanche, la méthode standard de prédiction de la réponse immunothérapeutique basée sur l’expression de PD-L1 n’était correcte que dans environ 61 % des cas.
Des résultats similaires ont été obtenus lorsque les chercheurs ont entraîné MUSK à identifier les personnes atteintes de mélanome les plus susceptibles de rechuter dans les cinq ans suivant leur traitement initial. Dans ce cas, le modèle était correct environ 83 % du temps, ce qui est environ 12 % plus précis que les prédictions générées par d’autres modèles de fondation.
« Ce qui est unique avec MUSK, c'est la capacité d'incorporer des données multimodales non appariées dans le pré-entraînement, ce qui augmente considérablement l'échelle des données par rapport aux données appariées requises par d'autres modèles », a déclaré Li. « Nous avons observé que pour toutes les tâches de prédiction clinique, les modèles qui intègrent plusieurs types de données surpassent systématiquement ceux basés uniquement sur des données d'imagerie ou de texte. L'exploitation de ces types de données multimodales non appariées avec des modèles d'intelligence artificielle comme MUSK constituera une avancée majeure dans la capacité de l'intelligence artificielle pour aider les médecins à améliorer les soins aux patients.
Des chercheurs de la Harvard Medical School ont contribué aux travaux.
L'étude a été financée par les National Institutes of Health (subventions R01CA222512, R01CA233578, R01CA269599, R01CA285456, R01CA290715 et R01DE030894) et par l'Institut de Stanford pour l'intelligence artificielle centrée sur l'humain.
