Un puissant outil d'intelligence artificielle clinique développé par l'université de Buffalo Biomedical Informatic Researchers a démontré une précision remarquable sur les trois parties de l'examen des licences médicales des États-Unis (examens d'étape), selon un article publié aujourd'hui (22 avril) dans Jama Network Open.
Atteindre des scores plus élevés sur l'USMLE que la plupart des médecins et tous les autres outils d'IA jusqu'à présent, l'intelligence artificielle clinique sémantique (SCAI, prononcé « Sky ») a le potentiel de devenir un partenaire essentiel pour les médecins, a déclaré l'auteur principal Peter L. Elkin, MD, président du département des informations biomédicales de la Jacobs de la médecine et des sciences biomédicales à l'UB et au physique de la médecine et de la médecine biomédicale aux UB et au physique de la médecine et des sciences biomédicales à l'UB et au physique de la médecine et de la médecine biomédicale aux UB et au physique de l'UBMD.
Elkin dit que SCAI est l'outil d'IA clinique le plus précis disponible à ce jour, la version la plus avancée marquant 95,2% sur l'étape 3 de l'USMLE, tandis qu'un outil OMNI GPT4 a marqué 90,5% sur le même test.
En tant que médecins, nous avons l'habitude d'utiliser des ordinateurs comme outils, mais SCAI est différent; Il peut ajouter à votre prise de décision et à votre réflexion en fonction de son propre raisonnement. «
Peter L. Elkin, MD, président du Département d'informatique biomédicale, Jacobs School of Medicine and Biomedical Sciences à UB
L'outil peut répondre aux questions médicales posées par les cliniciens ou le public à https://halsted.compbio.buffalo.edu/chat/.
Les chercheurs ont testé le modèle contre l'USMLE, requis pour l'octroi de licences aux médecins à l'échelle nationale, qui évalue la capacité du médecin à appliquer les connaissances, les concepts et les principes, et pour démontrer des compétences fondamentales centrées sur le patient. Toutes les questions avec un composant visuel ont été éliminées.
Elkin explique que la plupart des outils d'IA fonctionnent en utilisant des statistiques pour trouver des associations dans des données en ligne qui leur permettent de répondre à une question. « Nous appelons ces outils l'intelligence artificielle générative », dit-il. « Certains ont postulé qu'ils affligent simplement ce qui est sur Internet parce que les réponses qu'ils vous donnent sont ce que d'autres ont écrit. » Cependant, ces modèles d'IA deviennent désormais des partenaires aux soins plutôt que des outils simples que les cliniciens peuvent utiliser dans leur pratique, dit-il.
« Mais SCAI répond aux questions plus complexes et effectue un raisonnement sémantique plus complexe », dit-il, « nous avons créé des sources de connaissances qui peuvent raisonner davantage la façon dont les gens apprennent à raisonner tout en faisant leur formation à l'école de médecine. »
L'équipe a commencé avec un logiciel de traitement du langage naturel qu'ils avaient auparavant développé. Ils ont ajouté de grandes quantités d'informations cliniques faisant autorité glanées à partir de sources largement disparates allant de la littérature médicale récente et des directives cliniques aux données génomiques, aux informations sur les médicaments, aux recommandations de sortie, aux données de sécurité des patients et plus encore. Toutes les données qui pourraient être biaisées, telles que les notes cliniques, n'ont pas été incluses.
13 millions de faits médicaux
SCAI contient 13 millions de faits médicaux, ainsi que toutes les interactions possibles entre ces faits. L'équipe a utilisé des faits cliniques de base connus sous le nom de triplets sémantiques (objet de relation de sujet, tel que « la pénicilline traite la pneumonie pneumococcique ») pour créer des réseaux sémantiques. L'outil peut ensuite représenter ces réseaux sémantiques afin qu'il soit possible de tirer des inférences logiques d'eux.
« Nous avons enseigné aux modèles de langue importants comment utiliser le raisonnement sémantique », explique Elkin.
D'autres techniques qui ont contribué à SCAI comprennent les graphiques de connaissances conçus pour trouver de nouveaux liens dans les données médicales ainsi que les modèles précédemment « cachés », ainsi que la génération de la récupération, ce qui permet au modèle grand langage d'accéder et d'intégrer des informations à partir de bases de données de connaissances externes avant de répondre à une invite. Cela réduit la «confabulation», la tendance des outils d'IA à toujours répondre à une invite même lorsqu'elle n'a pas suffisamment d'informations pour continuer.
Elkin ajoute que l'utilisation de la sémantique formelle pour éclairer le modèle de langue large fournit un contexte important nécessaire pour que SCAI comprenne et réagit plus précisément à une question particulière.
«Il peut avoir une conversation avec vous»
« SCAI est différent des autres modèles de grande langue, car il peut avoir une conversation avec vous et en tant que partenariat Human-Computer peut ajouter à votre prise de décision et à votre réflexion en fonction de son propre raisonnement », explique Elkin.
Il conclut: « En ajoutant de la sémantique à de grands modèles de langage, nous leur donnons la capacité de raisonner de la même manière que nous faisons lors de la pratique de la médecine fondée sur des preuves. »
Parce qu'il peut accéder à de telles quantités de données, SCAI a également le potentiel d'améliorer la sécurité des patients, d'améliorer l'accès aux soins et de « démocratiser les soins spécialisés », dit Elkin, en faisant des informations médicales sur les spécialités et les sous-spécialités accessibles aux fournisseurs de soins primaires et même aux patients.
Bien que le pouvoir de SCAI soit impressionnant, Elkin souligne que son rôle sera d'augmenter, et non de remplacer, les médecins.
« L'intelligence artificielle ne va pas remplacer les médecins », dit-il, « mais un médecin qui utilise l'IA peut remplacer un médecin qui ne le fait pas. »
En plus d'Elkin, les co-auteurs UB du Département de l'informatique biomédicale sont Gresh Mehta; Frank Lehouillier; Melissa Resnick, PhD; Crystal Tomlin, PhD; Skyler Revendez, PhD; et jiaxing liu.
Sarah Mullin, PhD, de Roswell Park Comprehensive Cancer Center, et Jonathan R. Nebeker, MD, et Steven H. Brown, MD, tous deux du Département des anciens combattants, sont également des co-auteurs.
Les travaux ont été financés par des subventions des National Institutes of Health et du Département des anciens combattants.
