L'apprentissage par renforcement, une approche d'intelligence artificielle, a le potentiel de guider les médecins dans la conception de stratégies de traitement séquentielles pour de meilleurs résultats pour les patients, mais nécessite des améliorations significatives avant de pouvoir être appliqué en milieu clinique, selon une nouvelle étude menée par des chercheurs de Weill Cornell Medicine et de l'Université Rockefeller.
L'apprentissage par renforcement (RL) est une classe d'algorithmes d'apprentissage automatique capables de prendre une série de décisions au fil du temps. Responsable des progrès récents de l'IA, notamment des performances surhumaines aux échecs et au Go, RL peut utiliser l'évolution de l'état des patients, les résultats des tests et les réponses aux traitements antérieurs pour suggérer la prochaine meilleure étape en matière de soins personnalisés aux patients. Cette approche est particulièrement prometteuse pour la prise de décision en matière de prise en charge des maladies chroniques ou psychiatriques.
La recherche, publiée dans les actes de la Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS) et présentée le 13 décembre, présente les « épisodes de soins » (EpiCare), la première référence RL pour les soins de santé.
« Les références ont entraîné des améliorations dans les applications d'apprentissage automatique, notamment la vision par ordinateur, le traitement du langage naturel, la reconnaissance vocale et les voitures autonomes. Nous espérons qu'elles permettront désormais de faire progresser le RL dans le domaine des soins de santé », a déclaré le Dr Logan Grosenick, professeur adjoint de neurosciences en psychiatrie, qui a dirigé la recherche.
Les agents RL affinent leurs actions en fonction des commentaires qu'ils reçoivent, apprenant progressivement une politique qui améliore leur prise de décision. « Cependant, nos résultats montrent que même si les méthodes actuelles sont prometteuses, elles sont extrêmement gourmandes en données », ajoute le Dr Grosenick.
Les chercheurs ont d’abord testé les performances de cinq modèles RL en ligne de pointe sur EpiCare. Tous les cinq ont dépassé les normes de référence en matière de soins, mais seulement après une formation sur des milliers ou des dizaines de milliers d'épisodes de traitement simulés réalistes. Dans le monde réel, les méthodes RL ne seraient jamais formées directement sur les patients, c'est pourquoi les enquêteurs ont ensuite évalué cinq méthodes courantes « d'évaluation hors politique » (OPE) : des approches populaires qui visent à utiliser des données historiques (telles que celles provenant d'essais cliniques) pour contourner la nécessité de collecter des données en ligne. En utilisant EpiCare, ils ont constaté que les méthodes OPE de pointe ne parvenaient systématiquement pas à fonctionner avec précision pour les données de soins de santé.
« Nos résultats indiquent qu'on ne peut pas faire confiance aux méthodes OPE de pointe actuelles pour prédire avec précision les performances d'apprentissage par renforcement dans des scénarios longitudinaux de soins de santé », a déclaré le premier auteur, le Dr Mason Hargrave, chercheur à l'Université Rockefeller. Alors que les méthodes OPE sont de plus en plus discutées pour les applications de soins de santé, cette découverte met en évidence la nécessité de développer des outils d'analyse comparative plus précis, comme EpiCare, pour auditer les approches RL existantes et fournir des mesures permettant de mesurer l'amélioration.
Nous espérons que ce travail facilitera une évaluation plus fiable de l'apprentissage par renforcement dans les établissements de soins de santé et contribuera à accélérer le développement de meilleurs algorithmes RL et protocoles de formation appropriés aux applications médicales.
Dr Logan Grosenick, professeur adjoint de neurosciences en psychiatrie
Adapter les réseaux de neurones convolutifs pour interpréter les données graphiques
Dans une deuxième publication NeurIPS présentée le même jour, le Dr Grosenick a partagé ses recherches sur l'adaptation des réseaux neuronaux convolutifs (CNN), largement utilisés pour traiter les images, pour fonctionner avec des données plus générales structurées sous forme de graphes telles que le cerveau, les gènes ou les protéines. réseaux. Le large succès des CNN pour les tâches de reconnaissance d'images au début des années 2010 a jeté les bases de « l'apprentissage en profondeur » avec les CNN et de l'ère moderne des applications d'IA basées sur les réseaux neuronaux. Les CNN sont utilisés dans de nombreuses applications, notamment la reconnaissance faciale, les voitures autonomes et l’analyse d’images médicales.
« Nous sommes souvent intéressés par l'analyse de données de neuroimagerie qui ressemblent davantage à des graphiques, avec des sommets et des arêtes, qu'à des images. Mais nous avons réalisé qu'il n'existait rien de vraiment équivalent aux CNN et aux CNN profonds pour les données structurées en graphes. » dit le Dr Grosenick.
Les réseaux cérébraux sont généralement représentés sous forme de graphiques dans lesquels les régions du cerveau (représentées par des sommets) propagent l'information vers d'autres régions du cerveau (sommets) le long de « bords » qui se connectent et représentent la force entre elles. Cela est également vrai des réseaux de gènes et de protéines, des données comportementales humaines et animales et de la géométrie des composés chimiques comme les médicaments. En analysant directement ces graphiques, nous pouvons modéliser avec plus de précision les dépendances et les modèles entre les connexions locales et plus distantes.
Isaac Osafo Nkansah, associé de recherche qui travaillait au laboratoire Grosenick au moment de l'étude et premier auteur de l'article, a contribué au développement du cadre Quantized Graph Convolutional Networks (QuantNets) qui généralise les CNN aux graphiques. « Nous l'utilisons maintenant pour modéliser les données EEG (activité électrique cérébrale) des patients. Nous pouvons disposer d'un réseau de 256 capteurs sur le cuir chevelu qui mesurent l'activité neuronale – c'est un graphique », a déclaré le Dr Grosenick. « Nous prenons ces grands graphiques et les réduisons à des composants plus interprétables pour mieux comprendre comment la connectivité cérébrale dynamique change à mesure que les patients suivent un traitement pour la dépression ou le trouble obsessionnel-compulsif. »
Les chercheurs prévoient une large applicabilité pour QuantNets. Par exemple, ils cherchent également à modéliser des données de pose structurées sous forme de graphiques pour suivre le comportement des modèles de souris et des expressions faciales humaines extraites par vision par ordinateur.
« Alors que nous sommes encore confrontés à la sécurité et à la complexité de l'application de méthodes d'IA de pointe aux soins aux patients, chaque pas en avant, qu'il s'agisse d'un nouveau cadre d'analyse comparative ou d'un modèle plus précis, nous rapproche progressivement de stratégies de traitement personnalisées qui ont le potentiel pour améliorer profondément les résultats en matière de santé des patients », a conclu le Dr Grosenick.
