L'intelligence artificielle peut transformer la médecine d'une multitude de façons, y compris sa promesse d'agir en tant qu'aide de diagnostic de confiance aux cliniciens occupés.
Au cours des deux dernières années, les modèles d'IA propriétaires, également connus sous le nom de modèles de source fermée, ont excellé dans la résolution des cas médicaux difficiles à crack qui nécessitent un raisonnement clinique complexe. Notamment, ces modèles d'IA à source fermée ont surclassé les modèles open-source, ce qui est dit parce que leur code source est accessible au public et peut être modifié et modifié par quiconque.
L'IA open source a-t-elle rattrapé?
La réponse semble être oui, au moins en ce qui concerne un de ces modèles d'IA open source, selon les résultats d'une nouvelle étude financée par les NIH dirigée par des chercheurs de la Harvard Medical School et réalisée en collaboration avec des cliniciens de l'hôpital médical de Beth Israel Deaconess affilié à Harvard et Brigham and Women's Hospital.
Les résultats, publiés le 14 mars dans Jama Health ForumMontrez qu'un outil d'IA de source ouverte Challenger appelée LLAMA 3.1 405b s'est produit à égalité avec GPT-4, un modèle de source fermée de premier plan. Dans leur analyse, les chercheurs ont comparé les performances des deux modèles sur 92 cas mystifiants présentés dans The New England Journal of Medicine Rubrique hebdomadaire de scénarios cliniques diagnostiquement.
Les résultats suggèrent que les outils d'IA open source deviennent de plus en plus compétitifs et pourraient offrir une alternative précieuse aux modèles propriétaires.
À notre connaissance, c'est la première fois qu'un modèle d'IA open source correspond aux performances de GPT-4 sur des cas aussi difficiles tels qu'évalués par les médecins. Il est vraiment étonnant que les modèles de lama rattrapent si rapidement le principal modèle propriétaire. Les patients, les prestataires de soins et les hôpitaux tiennent à gagner de cette compétition. «
Arjun Manrai, auteur principal, professeur adjoint d'informatique biomédicale, Blavatnik Institute at HMS
Les avantages et les inconvénients des systèmes d'IA open source et de source fermée
L'IA open source et l'IA de source fermée diffèrent de plusieurs manières importantes. Tout d'abord, les modèles open source peuvent être téléchargés et s'exécuter sur des ordinateurs privés d'un hôpital, en gardant les données des patients en interne. En revanche, les modèles de source fermée fonctionnent sur des serveurs externes, obligeant les utilisateurs à transmettre des données privées à l'extérieur.
« Le modèle open-source est probablement plus attrayant pour de nombreux chefs d'information, administrateurs de l'hôpital et médecins, car il y a quelque chose de fondamentalement différent dans les données quittant l'hôpital pour une autre entité, même en fidèle », a déclaré l'auteur principal de l'étude, Thomas Buckley, un doctorant dans la nouvelle AI en médecine Track in the HMS Department of Biomedical Informatics.
Deuxièmement, les professionnels médicaux et informatiques peuvent modifier les modèles open source pour répondre aux besoins cliniques et de recherche uniques, tandis que les outils de source fermée sont généralement plus difficiles à adapter.
« C'est la clé », a déclaré Buckley. « Vous pouvez utiliser des données locales pour affiner ces modèles, soit de manière fondamentale ou sophistiquée, afin qu'ils soient adaptés aux besoins de vos propres médecins, chercheurs et patients. »
Troisièmement, les développeurs d'IA à source fermée tels que OpenAI et Google hébergent leurs propres modèles et fournissent un support client traditionnel, tandis que les modèles open source accordent la responsabilité de la configuration et de la maintenance du modèle sur les utilisateurs. Et au moins jusqu'à présent, les modèles de source fermée se sont révélés plus faciles à intégrer aux dossiers de santé électroniques et à l'infrastructure informatique hospitalière.
IA open source contre IA de source fermée: un tableau de bord pour résoudre des cas cliniques difficiles
Les algorithmes d'IA open source et de source fermée sont formés sur d'immenses ensembles de données qui incluent des manuels médicaux, des recherches évaluées par des pairs, des outils de support de décision clinique et des données anonymisées des patients, telles que des études de cas, des résultats de test, des analyses et des diagnostics confirmés. En examinant ces montagnes de matériel à Hyperspeed, les algorithmes apprennent les modèles. Par exemple, à quoi ressemblent les tumeurs cancéreuses et bénignes sur la diapositive de pathologie? Quels sont les premiers signes révélateurs d'insuffisance cardiaque? Comment distinguez-vous un côlon normal et un côlon enflammé sur une tomodensitométrie? Lorsqu'ils sont présentés avec un nouveau scénario clinique, les modèles d'IA comparent les informations entrantes au contenu qu'ils ont assimilé pendant la formation et proposer des diagnostics possibles.
Dans leur analyse, les chercheurs ont testé LLAMA sur 70 cas de NEJM cliniques difficiles auparavant utilisés pour évaluer les performances de GPT-4 et décrits dans une étude antérieure dirigée par Adam Rodman, professeur adjoint de médecine du HMS à Beth Israel Deaconess et co-auteur sur la nouvelle recherche. Dans la nouvelle étude, les chercheurs ont ajouté 22 nouveaux cas publiés après la fin de la période de formation de Llama pour se prémunir contre la chance que Llama ait rencontré par inadvertance certains des 70 cas publiés au cours de sa formation de base.
Le modèle open source a montré une véritable profondeur: LLAMA a fait un diagnostic correct dans 70% des cas, contre 64% pour le GPT-4. Il a également classé le bon choix comme première suggestion 41% du temps, contre 37% pour GPT-4. Pour le sous-ensemble de 22 cas plus récents, le modèle open source a obtenu un score encore plus élevé, ce qui rend le bon appel 73% du temps et l'identification du diagnostic final comme sa suggestion supérieure 45% du temps.
« En tant que médecin, j'ai vu une grande partie de l'accent mis sur les modèles puissants puissants de grande langue autour de modèles propriétaires que nous ne pouvons pas gérer localement », a déclaré Rodman. « Notre étude suggère que les modèles open source pourraient être tout aussi puissants, donnant aux médecins et aux systèmes de santé beaucoup plus de contrôle sur la façon dont ces technologies sont utilisées. »
Chaque année, quelque 795 000 patients aux États-Unis meurent ou souffrent d'une invalidité permanente en raison d'une erreur de diagnostic, selon un rapport de 2023.
Au-delà du préjudice immédiat pour les patients, les erreurs de diagnostic et les retards peuvent imposer un fardeau financier grave sur le système de santé. Des diagnostics inexacts ou tardifs peuvent entraîner des tests inutiles, un traitement inapproprié et, dans certains cas, de graves complications qui deviennent plus difficiles – et plus coûteuses – à gérer au fil du temps.
« Utilisé judicieusement et incorporé de manière responsable dans les infrastructures de santé actuelles, les outils d'IA pourraient être des copilotes inestimables pour les cliniciens occupés et servir d'aides diagnostiques de confiance pour améliorer la précision et la vitesse du diagnostic », a déclaré Manrai. « Mais il reste crucial que les médecins aident à stimuler ces efforts pour s'assurer que l'IA fonctionne pour eux. »
