Une étude menée par des chercheurs de l'École de médecine Icahn du Mont Sinaï a identifié des stratégies d'utilisation de grands modèles linguistiques (LLM), un type d'intelligence artificielle (IA), dans les systèmes de santé tout en maintenant la rentabilité et les performances.
Les résultats, publiés dans le numéro en ligne du 18 novembre de npj Médecine Numérique (DOI : 10.1038/s41746-024-01315-1), fournissent des informations sur la manière dont les systèmes de santé peuvent exploiter des outils d'IA avancés pour automatiser efficacement les tâches, gagner du temps et réduire les coûts opérationnels tout en garantissant que ces modèles restent fiables même sous des charges de tâches élevées.
« Nos résultats fournissent une feuille de route permettant aux systèmes de santé d'intégrer des outils d'IA avancés pour automatiser les tâches de manière efficace, réduisant potentiellement les coûts des appels d'interface de programmation d'application (API) pour les LLM jusqu'à 17 fois et garantissant des performances stables sous de lourdes charges de travail », déclare co. -auteur principal Girish N. Nadkarni, MD, MPH, Irene et Dr Arthur M. Fishberg Professeur de médecine à Icahn Mount Sinai, directeur de l'Institut Charles Bronfman de médecine personnalisée et chef de la division de Médecine numérique et basée sur les données (D3M) au système de santé Mount Sinai.
Les hôpitaux et les systèmes de santé génèrent chaque jour d’énormes volumes de données. Les LLM, tels que GPT-4 d'OpenAI, offrent des moyens encourageants d'automatiser et de rationaliser les flux de travail en aidant à diverses tâches. Cependant, l’exploitation continue de ces modèles d’IA est coûteuse, créant un obstacle financier à une utilisation généralisée, affirment les enquêteurs.
Notre étude a été motivée par la nécessité de trouver des moyens pratiques de réduire les coûts tout en maintenant les performances afin que les systèmes de santé puissent utiliser en toute confiance les LLM à grande échelle. Nous avons décidé de « tester sous contrainte » ces modèles, d'évaluer dans quelle mesure ils gèrent plusieurs tâches simultanément et d'identifier des stratégies qui maintiennent à la fois des performances élevées et des coûts gérables.
Eyal Klang, MD, premier auteur, directeur du programme de recherche sur l'IA générative au D3M à Icahn Mount Sinai
L'étude impliquait de tester 10 LLM avec des données réelles de patients, en examinant comment chaque modèle répondait à différents types de questions cliniques. L’équipe a mené plus de 300 000 expériences, augmentant progressivement la charge de travail pour évaluer la manière dont les modèles géraient les demandes croissantes.
Parallèlement à la précision des mesures, l'équipe a évalué le respect des modèles par rapport aux instructions cliniques. Une analyse économique a suivi, révélant que le regroupement des tâches pourrait aider les hôpitaux à réduire les coûts liés à l’IA tout en préservant les performances du modèle.
L'étude a montré qu'en regroupant spécifiquement jusqu'à 50 tâches cliniques ; telles que l'appariement des patients pour les essais cliniques, la structuration des cohortes de recherche, l'extraction de données pour les études épidémiologiques, l'examen de la sécurité des médicaments et l'identification des patients éligibles aux examens médicaux préventifs ; ensemble, les LLM peuvent gérez-les simultanément sans perte significative de précision. Cette approche de regroupement de tâches suggère que les hôpitaux pourraient optimiser les flux de travail et réduire les coûts des API jusqu'à 17 fois, des économies qui pourraient s'élever à des millions de dollars par an pour les systèmes de santé plus importants, rendant ainsi les outils d'IA avancés plus viables financièrement.
« Reconnaître le point auquel ces modèles commencent à lutter sous de lourdes charges cognitives est essentiel pour maintenir la fiabilité et la stabilité opérationnelle. Nos résultats mettent en évidence une voie pratique pour intégrer l'IA générative dans les hôpitaux et ouvrent la porte à des recherches plus approfondies sur les capacités des LLM dans le domaine réel. limites mondiales », explique le Dr Nadkarni.
Selon les enquêteurs, une découverte inattendue était que même des modèles avancés comme GPT-4 montraient des signes de tension lorsqu'ils étaient poussés à leurs limites cognitives. Au lieu d’erreurs mineures, les performances des modèles chuteraient périodiquement de manière imprévisible sous la pression.
« Cette recherche a des implications significatives sur la manière dont l'IA peut être intégrée dans les systèmes de soins de santé. Le regroupement des tâches pour les LLM réduit non seulement les coûts, mais préserve également les ressources qui peuvent être mieux orientées vers les soins aux patients », déclare le co-auteur David L. Reich, MD, Directeur clinique du système de santé Mount Sinai ; président de l'hôpital Mount Sinai et du Mount Sinai Queens ; Professeur Horace W. Goldsmith d'anesthésiologie ; et professeur d'intelligence artificielle et de santé humaine, ainsi que de pathologie, de médecine moléculaire et cellulaire, à Icahn Mount Sinai. « Et en reconnaissant les limites cognitives de ces modèles, les prestataires de soins de santé peuvent maximiser l'utilité de l'IA tout en atténuant les risques, garantissant ainsi que ces outils restent un support fiable dans les contextes de soins de santé critiques. »
Ensuite, l’équipe de recherche prévoit d’explorer comment ces modèles fonctionnent dans des environnements cliniques en temps réel, en gérant les charges de travail réelles des patients et en interagissant directement avec les équipes de soins de santé. De plus, l’équipe vise à tester les modèles émergents pour voir si les seuils cognitifs changent à mesure que la technologie progresse, en travaillant vers un cadre fiable pour l’intégration de l’IA dans les soins de santé. En fin de compte, disent-ils, leur objectif est de doter les systèmes de santé d’outils qui équilibrent efficacité, précision et rentabilité, améliorant ainsi les soins aux patients sans introduire de nouveaux risques.
