Les scientifiques internationaux mettent leurs collègues au défi de rendre la recherche sur l'intelligence artificielle (IA) plus transparente et reproductible afin d'accélérer l'impact de leurs découvertes sur les patients atteints de cancer.
Dans un article publié dans La nature le 14 octobre 2020, des scientifiques du Princess Margaret Cancer Center, de l'Université de Toronto, de l'Université de Stanford, de Johns Hopkins, de la Harvard School of Public Health, du Massachusetts Institute of Technology et d'autres, défient les revues scientifiques de maintenir les chercheurs en informatique à des normes plus élevées de transparence, et invitent leurs collègues à partager leur code, leurs modèles et leurs environnements de calcul dans des publications.
Le progrès scientifique dépend de la capacité des chercheurs à scruter les résultats d'une étude et à reproduire les principales découvertes pour en tirer des leçons. Mais dans la recherche informatique, ce n'est pas encore un critère répandu pour que les détails d'une étude sur l'IA soient entièrement accessibles. Cela nuit à nos progrès. «
Dr Benjamin Haibe-Kains, scientifique principal au Princess Margaret Cancer Center et premier auteur de l'article
Les auteurs ont exprimé leur inquiétude quant au manque de transparence et de reproductibilité dans la recherche sur l'IA après qu'une étude Google Health de McKinney et al., Publiée dans une revue scientifique de premier plan en janvier 2020, a affirmé qu'un système d'intelligence artificielle (IA) pourrait surpasser les radiologues humains dans les deux cas. robustesse et rapidité pour le dépistage du cancer du sein. L'étude a fait des vagues dans la communauté scientifique et a créé un buzz auprès du public, avec des titres apparaissant dans BBC News, CBC, CNBC.
Un examen plus approfondi a soulevé quelques inquiétudes: l'étude manquait d'une description suffisante des méthodes utilisées, y compris leur code et leurs modèles. Le manque de transparence a empêché les chercheurs d'apprendre exactement comment le modèle fonctionne et comment ils pourraient l'appliquer à leurs propres institutions.
«Sur le papier et en théorie, l'étude de McKinney et al. Est magnifique», déclare le Dr Haibe-Kains, «mais si nous ne pouvons pas en tirer des leçons, elle n'a que peu ou pas de valeur scientifique.
Selon le Dr Haibe-Kains, qui est conjointement nommé professeur agrégé en biophysique médicale à l'Université de Toronto et affilié au Vector Institute for Artificial Intelligence, il ne s'agit là que d'un exemple de schéma problématique en recherche informatique.
«Les chercheurs sont plus incités à publier leurs résultats plutôt que de consacrer du temps et des ressources à assurer la réplication de leur étude», explique le Dr Haibe-Kains. «Les revues sont vulnérables au« battage médiatique »de l'IA et peuvent abaisser les normes d'acceptation d'articles qui n'incluent pas tous les matériaux nécessaires pour rendre l'étude reproductible – souvent en contradiction avec leurs propres directives.»
Cela peut en fait ralentir la traduction des modèles d'IA en milieu clinique. Les chercheurs ne sont pas en mesure d'apprendre comment le modèle fonctionne et de le reproduire de manière réfléchie. Dans certains cas, cela pourrait conduire à des essais cliniques injustifiés, car un modèle qui fonctionne sur un groupe de patients ou dans un établissement peut ne pas convenir à un autre.
Dans l'article intitulé Transparence et reproductibilité dans l'intelligence artificielle, les auteurs proposent de nombreux cadres et plates-formes qui permettent un partage sûr et efficace pour maintenir les trois piliers de la science ouverte pour rendre la recherche en IA plus transparente et reproductible: partage de données, partage de code informatique et partage prédictif des modèles.
«Nous avons de grands espoirs quant à l'utilité de l'IA pour nos patients atteints de cancer», déclare le Dr Haibe-Kains. « Partager et construire sur nos découvertes – c'est un véritable impact scientifique. »
Intérêts concurrents: Michael M. Hoffman a reçu une subvention GPU de Nvidia. Benjamin Haibe-Kains est conseiller scientifique pour Altis Labs. Chris McIntosh détient une participation dans Bridge7Oncology et reçoit des redevances de RaySearch Laboratories.
La source:
Réseau universitaire de santé
