Dans une étude récente publiée sur le medRxiv* serveur de prépublication, les chercheurs ont effectué une recherche complète d’essais contrôlés randomisés (ECR) impliquant des algorithmes d’intelligence artificielle (IA) publiés entre 2018 et 2023 sur PubMed et la plateforme internationale d’enregistrement des essais cliniques (ICTRP).
Plus précisément, l’examen de la portée actuelle a évalué les paramètres de l’étude, les caractéristiques de l’intervention et les résultats des ECR afin d’informer les parties prenantes sur la pertinence clinique de l’IA, ce qui, à son tour, pourrait contribuer à améliorer la gestion des soins et la prise de décision médicale tout en identifiant les domaines qui nécessitent des travaux supplémentaires dans ce domaine. domaine de recherche en évolution rapide.
Étude: Essais contrôlés randomisés évaluant l’IA dans la pratique clinique : une évaluation de la portée. Crédit d’image : métamorworks/Shutterstock.com
*Avis important: medRxiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
Sommaire
Arrière-plan
La Food and Drug Administration (FDA) a approuvé environ 300 dispositifs médicaux basés sur l’IA après que plusieurs études de recherche ont révélé que ces modèles étaient plus performants que les cliniciens ; cependant, seuls quelques dispositifs médicaux basés sur l’IA ont fait l’objet d’une évaluation à l’aide d’ECR prospectifs.
Par exemple, un modèle d’IA largement utilisé, le modèle de sepsis, s’est avéré moins performant que ce qui avait été signalé par son développeur, ce qui a entraîné plusieurs alertes incorrectes.
Lorsqu’ils sont déployés de manière prospective, les appareils basés sur l’IA fonctionnent moins bien, et l’adoption de l’IA dans la pratique clinique pourrait encore diminuer ses avantages potentiels.
À propos de l’étude
Dans la présente étude, les chercheurs ont utilisé des mots-clés liés à l’intelligence artificielle, au clinicien et à l’essai clinique, pour n’en nommer que quelques-uns, et ont identifié des ECR publiés en anglais sur PubMed et l’ICTRP entre le 1er janvier 2018 et le 18 août 2023, qui répondaient aux exigences. critères suivants :
i) utilisé un modèle informatique non linéaire basé sur l’IA comme intervention ;
ii) une intervention basée sur l’IA intégrée dans la pratique clinique, de telle sorte qu’elle ait un impact sur la santé des patients ; et
iii) publié sous forme d’article intégral évalué par des pairs.
Deux enquêteurs indépendants ont utilisé le logiciel Covidence Review pour la sélection initiale, suivie d’une sélection en texte intégral, tandis qu’un troisième évaluateur a résolu les divergences (le cas échéant) par la discussion.
L’équipe a récupéré des informations concernant le site d’étude, la tâche clinique, les résultats et le type d’IA utilisé à partir de tous les ECR éligibles.
De plus, ils ont classé les études selon leurs principaux critères d’évaluation, par exemple la gestion des soins, la spécialité médicale et la modalité de données utilisée par l’IA. Enfin, ils ont présenté des statistiques descriptives simples pour fournir un aperçu de tous les essais éligibles.
L’étude actuelle a adhéré aux éléments de rapport préférés pour les directives des revues systématiques et des méta-analyses (PRISMA).
Résultats
Au total, 84 ECR ont constitué l’ensemble de données analytiques de cette étude, qui ont révélé plusieurs tendances notables ayant des implications pour le développement de l’IA dans des contextes cliniques réels.
Sur ces 84 études, 71 et 13 provenaient respectivement du dépistage primaire et de référence.
La plupart des ECR portaient sur la gastro-entérologie (35/84), suivie par la radiologie, la chirurgie et la cardiologie, avec respectivement 13, cinq et cinq ECR.
Quatre groupes de recherche de l’Université de Wuhan, Wision AI, Medtronic et Fujifilm ont mené la plupart des ECR liés à la gastro-entérologie (24/35), qui se distinguaient par leur uniformité et leurs tests d’algorithmes d’apprentissage automatique (ML) vidéo avec l’aide de cliniciens.
Les États-Unis ont ouvert la voie, suivis par la Chine, suggérant que la plupart des ECR étaient des études sur un seul site. En effet, des essais internationaux multicentriques sont nécessaires pour garantir que les tests des systèmes d’IA sont valables pour diverses populations et systèmes de santé.
La Chine a principalement mené des ECR liés à la gastro-entérologie (19/24), tandis que les ECR menés aux États-Unis couvraient plusieurs spécialités médicales. Les ECR multicentriques impliquaient principalement des pays européens, tandis que les ECR à site unique évaluant en moyenne 359 patients étaient prédominants (52/84) dans l’ensemble final de l’étude.
Par rapport aux taux de réussite observés dans les revues historiques des ECR sur l’IA dans les soins de santé, la plupart des ECR évaluant les dispositifs médicaux basés sur l’IA dans la pratique clinique ont produit des résultats plus positifs pour tous les critères d’évaluation principaux évalués (69/84).
Un taux de réussite aussi élevé confère de la crédibilité à l’IA clinique ; cependant, il est également possible que le caractère naissant du domaine et les biais de publication aient tempéré ces observations.
En outre, la plupart des ECR évaluant des interventions sur l’exactitude du diagnostic offrant des preuves prospectives convaincantes de la performance de l’IA clinique pourraient ne pas constituer une représentation précise de l’amélioration des résultats pour les patients.
Ainsi, les ECR évaluant les algorithmes d’IA dans les soins de santé devraient se concentrer sur l’intégration de critères d’évaluation cliniquement significatifs, par exemple les symptômes du patient, la survie et les besoins en matière de traitement.
Conclusions
Dans l’ensemble, les ECR existants sur l’IA dans la pratique clinique ont démontré un intérêt croissant pour les applications de l’IA dans un large éventail de spécialités médicales et de sites.
Cependant, compte tenu des limites de l’IA dans le domaine des soins de santé, des recherches supplémentaires axées sur des ECR multicentriques intégrant divers critères d’évaluation cliniquement significatifs sont nécessaires.
*Avis important: medRxiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
