L’intelligence artificielle (IA) est actuellement incapable de passer l’un des examens de qualification en radiologie, suggérant que cette technologie prometteuse n’est pas encore prête à remplacer les médecins, constate une étude dans le numéro de Noël de Le BMJ.
L’IA est de plus en plus utilisée pour certaines tâches effectuées par les médecins, telles que l’interprétation des radiographies (rayons X et scanners) pour aider à diagnostiquer une gamme de conditions.
Mais l’IA peut-elle réussir l’examen Fellowship of the Royal College of Radiologists (FRCR), que les stagiaires britanniques doivent réussir pour être qualifié en tant que consultant en radiologie ?
Pour le savoir, les chercheurs ont comparé les performances d’un outil d’IA disponible dans le commerce avec 26 radiologues (la plupart âgés de 31 à 40 ans ; 62 % de femmes) qui avaient tous réussi l’examen du FRCR l’année précédente.
Ils ont développé 10 examens de rapport rapide « simulés », basés sur l’un des trois modules qui composent l’examen de qualification FRCR conçu pour tester la rapidité et la précision des candidats.
Chaque examen simulé consistait en 30 radiographies au même niveau ou à un niveau supérieur de difficulté et d’étendue des connaissances attendues pour le véritable examen FRCR. Pour réussir, les candidats devaient interpréter correctement au moins 27 (90%) des 30 images en 35 minutes.
Le candidat à l’IA avait été formé pour évaluer les radiographies thoraciques et osseuses (musculo-squelettiques) de plusieurs affections, notamment les fractures, les articulations enflées et disloquées et les poumons effondrés.
Des tolérances ont été faites pour les images relatives à des parties du corps pour lesquelles le candidat IA n’avait pas été formé, qui ont été jugées « ininterprétables ».
Lorsque les images non interprétables ont été exclues de l’analyse, le candidat IA a atteint une précision globale moyenne de 79,5 % et a réussi deux des 10 examens simulés du FRCR, tandis que le radiologue moyen a atteint une précision moyenne de 84,8 % et a réussi quatre des 10 examens simulés.
La sensibilité (capacité à identifier correctement les patients atteints d’une condition) pour le candidat IA était de 83,6 % et la spécificité (capacité à identifier correctement les patients sans condition) était de 75,2 %, contre 84,1 % et 87,3 % pour l’ensemble des radiologues.
Sur 148 des 300 radiographies qui ont été correctement interprétées par plus de 90 % des radiologues, le candidat IA était correct dans 134 (91 %) et incorrect dans les 14 restants (9 %).
Dans 20 des 300 radiographies que plus de la moitié des radiologues ont mal interprétées, le candidat IA était incorrect dans 10 (50 %) et correct dans les 10 restants.
Fait intéressant, les radiologues ont légèrement surestimé les performances probables du candidat à l’IA, en supposant qu’il fonctionnerait presque aussi bien qu’eux-mêmes en moyenne et qu’il les surpasserait dans au moins trois des 10 examens simulés.
Cependant, ce n’était pas le cas. Les chercheurs disent : « À cette occasion, le candidat à l’intelligence artificielle n’a réussi aucun des 10 examens simulés lorsqu’il a été noté selon des critères aussi stricts que ses homologues humains, mais il pourrait réussir deux des examens simulés si une dispense spéciale était accordée par le RCR pour exclure les images sur lesquelles il n’a pas été formé. »
Ce sont des résultats d’observation et les chercheurs reconnaissent qu’ils n’ont évalué qu’un seul outil d’IA et utilisé des examens simulés qui n’étaient ni chronométrés ni supervisés, de sorte que les radiologues n’ont peut-être pas ressenti autant de pression pour faire de leur mieux que lors d’un véritable examen.
Néanmoins, cette étude est l’une des comparaisons croisées les plus complètes entre les radiologues et l’intelligence artificielle, fournissant un large éventail de scores et de résultats pour l’analyse.
Une formation complémentaire et une révision sont fortement recommandées, ajoutent-ils, en particulier pour les cas que l’intelligence artificielle considère comme « non interprétables », comme les radiographies abdominales et celles du squelette axial.
L’IA peut faciliter les flux de travail, mais la contribution humaine reste cruciale, affirment les chercheurs dans un éditorial lié.
Ils reconnaissent que l’utilisation de l’intelligence artificielle « a un potentiel inexploité pour faciliter davantage l’efficacité et la précision des diagnostics afin de répondre à un éventail de demandes de soins de santé », mais disent que le faire de manière appropriée « implique de mieux éduquer les médecins et le public sur les limites de l’intelligence artificielle et de les rendre plus transparentes. «
La recherche dans ce domaine est en effervescence, ajoutent-ils, et cette étude met en évidence qu’un aspect fondamental de la pratique de la radiologie ; réussir l’examen FRCR nécessaire pour l’autorisation d’exercer ; bénéficie toujours de la touche humaine.
