L’une des promesses les plus vantées des outils d’intelligence artificielle médicale est leur capacité à augmenter les performances des cliniciens humains en les aidant à interpréter des images telles que les radiographies et les tomodensitogrammes avec une plus grande précision afin de poser des diagnostics plus précis.
Mais les avantages de l’utilisation des outils d’IA sur l’interprétation des images semblent varier d’un clinicien à l’autre, selon une nouvelle recherche menée par des chercheurs de la Harvard Medical School, en collaboration avec des collègues du MIT et de Stanford.
Les résultats de l’étude suggèrent que les différences individuelles entre cliniciens façonnent l’interaction entre l’homme et la machine de manière critique que les chercheurs ne comprennent pas encore pleinement. L'analyse, publiée le 19 mars dans Médecine naturelleest basé sur les données d’un document de travail antérieur du même groupe de recherche publié par le Bureau national de recherche économique.
Dans certains cas, la recherche a montré que l'utilisation de l'IA peut interférer avec les performances d'un radiologue et avec l'exactitude de son interprétation.
Nous constatons que différents radiologues réagissent en effet différemment à l’assistance de l’IA – ; certains en sont aidés tandis que d’autres en sont blessés. »
Pranav Rajpurkar, co-auteur principal, professeur adjoint d'informatique biomédicale, Institut Blavatnik à HMS
« Cela signifie que nous ne devrions pas considérer les radiologues comme une population uniforme et considérer uniquement l'effet 'moyen' de l'IA sur leurs performances », a-t-il déclaré. « Pour maximiser les avantages et minimiser les dommages, nous devons personnaliser les systèmes d'assistance à l'IA. »
Les résultats soulignent l’importance d’une mise en œuvre soigneusement calibrée de l’IA dans la pratique clinique, mais ils ne devraient en aucun cas décourager l’adoption de l’IA dans les cabinets et les cliniques des radiologues, ont déclaré les chercheurs.
Au lieu de cela, les résultats devraient souligner la nécessité de mieux comprendre comment les humains et l’IA interagissent et de concevoir des approches soigneusement calibrées qui améliorent les performances humaines plutôt que de les nuire.
« Les cliniciens ont différents niveaux d'expertise, d'expérience et de styles de prise de décision. Il est donc essentiel de garantir que l'IA reflète cette diversité pour une mise en œuvre ciblée », a déclaré Feiyang « Kathy » Yu, qui a mené les travaux au laboratoire de Rajpurkar avec co-premier. auteur de l'article avec Alex Moehring à la MIT Sloan School of Management.
« Les facteurs individuels et les variations seraient essentiels pour garantir que l'IA progresse plutôt que d'interférer avec les performances et, en fin de compte, avec le diagnostic », a déclaré Yu.
Sommaire
Les outils d’IA ont affecté différemment différents radiologues
Alors que des recherches antérieures ont montré que les assistants d'IA peuvent effectivement améliorer les performances diagnostiques des radiologues, ces études ont examiné les radiologues dans leur ensemble sans tenir compte de la variabilité d'un radiologue à l'autre.
En revanche, la nouvelle étude examine comment les facteurs individuels du clinicien – ; domaine de spécialité, années de pratique, utilisation préalable d'outils d'IA – ; entrent en jeu dans la collaboration homme-IA.
Les chercheurs ont examiné comment les outils d'IA ont affecté les performances de 140 radiologues sur 15 tâches de diagnostic par rayons X – ; avec quelle fiabilité les radiologues ont été capables de repérer des caractéristiques révélatrices sur une image et de poser un diagnostic précis. L'analyse a porté sur 324 cas de patients présentant 15 pathologies – ; conditions anormales capturées sur les radiographies de la poitrine.
Pour déterminer comment l'IA affectait la capacité des médecins à repérer et à identifier correctement les problèmes, les chercheurs ont utilisé des méthodes informatiques avancées qui captaient l'ampleur du changement de performance lors de l'utilisation ou non de l'IA.
L’effet de l’assistance de l’IA était incohérent et varié selon les radiologues, les performances de certains radiologues s’améliorant avec l’IA et se détériorant chez d’autres.
Les outils d’IA ont influencé les performances humaines de manière imprévisible
Les effets de l’IA sur les performances des radiologues humains variaient de manière souvent surprenante.
Par exemple, contrairement à ce à quoi les chercheurs s'attendaient, des facteurs tels que le nombre d'années d'expérience d'un radiologue, s'il était spécialisé en radiologie thoracique ou thoracique et s'il avait déjà utilisé des lecteurs d'IA auparavant, ne permettaient pas de prédire de manière fiable comment un outil d'IA affecterait la performance du médecin.
Une autre découverte qui remet en cause la sagesse dominante : les cliniciens dont les performances étaient faibles au départ n’ont pas bénéficié de manière cohérente de l’assistance de l’IA. Certains en ont bénéficié davantage, d’autres moins, et d’autres encore pas du tout. Cependant, dans l’ensemble, les radiologues les moins performants au départ avaient des performances inférieures avec ou sans IA. Il en va de même parmi les radiologues qui ont obtenu de meilleurs résultats au départ. Dans l’ensemble, ils ont toujours bien performé, avec ou sans IA.
Puis est arrivée une découverte pas si surprenante : des outils d'IA plus précis ont amélioré les performances des radiologues, tandis que des outils d'IA peu performants ont diminué la précision du diagnostic des cliniciens humains.
Bien que l’analyse n’ait pas été effectuée de manière à permettre aux chercheurs de déterminer pourquoi cela s’est produit, les résultats soulignent l’importance de tester et de valider les performances des outils d’IA avant le déploiement clinique, ont indiqué les chercheurs. De tels pré-tests pourraient garantir qu’une IA inférieure n’interfère pas avec les performances des cliniciens humains et, par conséquent, avec les soins aux patients.
Que signifient ces découvertes pour l’avenir de l’IA en clinique ?
Les chercheurs ont averti que leurs résultats ne fournissent pas d’explication sur pourquoi et comment les outils d’IA semblent affecter différemment les performances des cliniciens humains, mais notent que comprendre pourquoi serait essentiel pour garantir que les outils de radiologie d’IA augmentent les performances humaines plutôt que de les nuire.
À cette fin, a noté l’équipe, les développeurs d’IA devraient travailler avec des médecins qui utilisent leurs outils pour comprendre et définir les facteurs précis qui entrent en jeu dans l’interaction homme-IA.
Et, ont ajouté les chercheurs, l’interaction radiologue-IA devrait être testée dans des contextes expérimentaux qui imitent des scénarios du monde réel et reflètent la population réelle de patients pour laquelle les outils sont conçus.
En plus d'améliorer la précision des outils d'IA, il est également important de former les radiologues à détecter les prédictions inexactes de l'IA et à remettre en question l'appel diagnostique d'un outil d'IA, a déclaré l'équipe de recherche. Pour y parvenir, les développeurs d’IA doivent s’assurer qu’ils conçoivent des modèles d’IA capables « d’expliquer » leurs décisions.
« Notre recherche révèle la nature nuancée et complexe de l'interaction machine-humain », a déclaré Nikhil Agarwal, co-auteur principal de l'étude, professeur d'économie au MIT. « Cela met en valeur la nécessité de comprendre la multitude de facteurs impliqués dans cette interaction et comment ils influencent le diagnostic et les soins ultimes des patients. »
Paternité, financement, divulgations
Parmi les autres auteurs figuraient Oishi Banerjee du HMS et Tobias Salz du MIT, qui était co-auteur principal de l'article.
Le travail a été financé en partie par la Fondation Alfred P. Sloan (2022-17182), la J-PAL Health Care Delivery Initiative et la MIT School of Humanities, Arts, and Social Sciences.
