Publié par le Journal de radiologie : intelligence artificielleune étude observationnelle prospective dans 12 systèmes hospitaliers de la faculté de médecine de l’Université du Minnesota a évalué les performances en temps réel d’un modèle d’intelligence artificielle (IA) interprétable pour détecter le COVID-19 à partir de radiographies pulmonaires.
Les participants avec COVID-19 avaient un score de diagnostic COVID-19 significativement plus élevé que les participants qui n’avaient pas COVID-19. Cependant, les chercheurs ont constaté que les performances du modèle en temps réel étaient inchangées au cours des 19 semaines de mise en œuvre.
La sensibilité du modèle était significativement plus élevée chez les hommes, tandis que la spécificité du modèle était significativement plus élevée chez les femmes. La sensibilité était significativement plus élevée pour les participants asiatiques et noirs que pour les participants blancs. Le système de diagnostic COVID-19 AI avait une précision nettement inférieure à celle des prédictions des radiologues.
Cette étude, qui représente la première enquête en direct d’un modèle de diagnostic d’IA COVID-19, met en évidence les avantages potentiels mais aussi les limites de l’IA. Bien que prometteurs, les outils basés sur l’IA n’ont pas encore atteint leur plein potentiel de diagnostic. »
Christopher Tignanelli MD, MS, FACS, FAMIA, professeur agrégé de chirurgie, faculté de médecine de l’Université du Minnesota
Tignanelli est également chirurgien généraliste chez M Health Fairview.
Les résultats de la recherche ont été éclairés par un algorithme d’IA développé par Ju Sun, professeur adjoint au U of M College of Science and Engineering, et son équipe en collaboration avec M Health Fairview et Epic.
- Les modèles de diagnostic COVID-19 fonctionnent bien pour les participants ayant de graves effets COVID-19 ; cependant, ils ne parviennent pas à différencier les participants présentant des effets légers du COVID-19.
- Bon nombre des premiers modèles d’IA de la pandémie qui ont été publiés affichaient des mesures de performance trop optimistes utilisant des ensembles de données accessibles au public.
- La précision diagnostique du modèle d’IA était inférieure aux prédictions faites par les radiologues certifiés.
« Nous avons constaté la même performance trop optimiste dans cette étude lorsque nous l’avons validée par rapport à deux ensembles de données accessibles au public ; cependant, comme nous l’avons montré dans notre manuscrit, cela ne se traduit pas dans le monde réel », a déclaré le Dr Tignanelli. « Il est impératif pour aller de l’avant que les chercheurs et les revues développent des normes nécessitant une validation prospective externe ou en temps réel pour les manuscrits d’IA évalués par des pairs. »
Les chercheurs espèrent développer un modèle d’IA de diagnostic plus simple en intégrant les données de plus de 40 sites américains et européens et des modèles multimodaux qui exploitent des données structurées et des notes cliniques ainsi que des images.