Les algorithmes soumis à un défi d'IA organisé par la Radiological Society of North America (RSNA) ont montré d'excellentes performances pour détecter les cancers du sein sur les images de mammographie, augmentant la sensibilité au dépistage tout en maintenant de faibles taux de rappel, selon une étude publiée aujourd'hui dans Radiologiele premier journal de la RSNA.
Le défi de la détection de la détection du cancer du sein RSNA Mammography a été une compétition de crowdsource qui a eu lieu en 2023, avec plus de 1 500 équipes participantes. Le Radiologie Détails de l'article Une analyse de la performance des algorithmes, dirigée par Yan Chen, Ph.D., professeur de dépistage du cancer à l'Université de Nottingham au Royaume-Uni.
Nous avons été submergés par le volume de candidats et le nombre d'algorithmes d'IA qui ont été soumis dans le cadre du défi. C'est l'un des défis les plus participés aux AI RSNA. Nous avons également été impressionnés par les performances des algorithmes étant donné la fenêtre relativement courte autorisée pour le développement des algorithmes et l'exigence de proposer des données de formation à partir d'emplacements open source. «
Yan Chen, Ph.D., professeur de dépistage du cancer, Université de Nottingham
L'objectif du défi était de s'approvisionner par des modèles d'IA qui améliorent l'automatisation de la détection du cancer dans le dépistage des mammographies, pour aider les radiologues à travailler plus efficacement, à améliorer la qualité et la sécurité des soins aux patients, et à réduire les coûts et les procédures médicales inutiles.
RSNA a invité la participation des équipes du monde entier. L'Université Emory à Atlanta, en Géorgie et Breastscreen Victoria, en Australie, a fourni un ensemble de données de formation d'environ 11 000 images de dépistage mammaire, et les participants au défi pourraient également s'approvisionner par des données de formation accessibles au public à leurs algorithmes.
L'équipe de recherche du professeur Chen a évalué 1 537 algorithmes de travail soumis au défi, les testant sur un ensemble de 10 830 examens de secours à secours uniquement accompagnés de l'ensemble de données de formation – qui ont été confirmés par les résultats de pathologie comme positifs ou négatifs pour le cancer.
Dans l'ensemble, les algorithmes ont donné des taux médians de spécificité de 98,7% pour confirmer qu'aucun cancer n'était présent sur les images de mammographie, 27,6% de sensibilité pour identifier positivement le cancer et un taux de rappel – le pourcentage des cas que l'IA a jugé positif de 1,7%. Lorsque les chercheurs ont combiné les algorithmes d'effet top 3 et top 10, il a augmenté la sensibilité à 60,7% et 67,8%, respectivement.
« Lors de l'ensemble des entrées les plus performantes, nous avons été surpris que différents algorithmes d'IA soient tellement complémentaires, identifiant différents cancers », a déclaré le professeur Chen. « Les algorithmes avaient des seuils optimisés pour une valeur prédictive positive et une spécificité élevée, donc différentes caractéristiques de cancer sur différentes images déclenchaient des scores élevés différemment pour différents algorithmes. »
Selon les chercheurs, la création d'un ensemble des 10 algorithmes les plus performants a produit des performances qui sont proches de celles d'un radiologue de dépistage moyen en Europe ou en Australie.
Les algorithmes individuels ont montré des différences significatives dans les performances en fonction de facteurs tels que le type de cancer, le fabricant de l'équipement d'imagerie et le site clinique où les images ont été acquises. Dans l'ensemble, les algorithmes avaient une plus grande sensibilité pour détecter les cancers invasifs que pour les cancers non invasifs.
Étant donné que de nombreux modèles d'IA des participants sont open source, les résultats du défi peuvent contribuer à l'amélioration supplémentaire des outils expérimentaux et commerciaux de l'IA pour la mammographie, dans le but d'améliorer les résultats du cancer du sein dans le monde, a expliqué le professeur Chen.
« En libérant les algorithmes et un ensemble de données d'imagerie complet au public, les participants fournissent des ressources précieuses qui peuvent générer des recherches supplémentaires et permettre la benchmarking qui est requise pour l'intégration efficace et sûre de l'IA dans la pratique clinique », a-t-elle déclaré.
L'équipe de recherche prévoit de mener des études de suivi pour comparer les performances des principaux algorithmes de défi par rapport aux produits disponibles dans le commerce à l'aide d'un ensemble de données plus grand et plus diversifié.
« De plus, nous étudierons l'efficacité des ensembles de test plus petits et plus difficiles avec des références humaines robustes, telles que celles développées par le schéma Performs, un programme basé sur le Royaume-Uni pour évaluer et assurer la qualité des performances radiologues en tant qu'approche pour l'évaluation de l'IA, et comparer son utilité à celle des ensembles de données à grande échelle », a déclaré le professeur Chen.
RSNA organise un défi d'IA chaque année, avec la concurrence de cette année qui cherche des soumissions pour des modèles qui aident à détecter et à localiser les anévrismes intracrâniens.
