Les outils d'intelligence artificielle peuvent aider les médecins aux urgences à prédire avec précision la maladie, mais uniquement pour les patients présentant des symptômes typiques, ont trouvé des scientifiques de l'Université de Virginie-Occidentale.
Gangqing « Michael » Hu, professeur adjoint au Département de microbiologie, d'immunologie et de biologie cellulaire de la WVU School of Medicine et directeur de la WVU Bioinformatics Core Facility, a mené une étude qui a comparé la précision et la précision de quatre modèles Chatgpt pour faire des diagnostics médicaux et expliquer leur raisonnement.
Ses résultats, publiés dans la revue Scientific Reports, démontrent la nécessité d'incorporer de plus grandes quantités de différents types de données dans la formation de la technologie d'IA pour aider au diagnostic de la maladie.
Plus de données peuvent faire la différence pour savoir si l'IA donne aux patients les diagnostics corrects pour ce qu'on appelle des «cas difficiles», qui ne présentent pas de symptômes classiques. À titre d'exemple, Hu a souligné un trio de scénarios de son étude impliquant des patients qui avaient une pneumonie sans fièvre typique.
Dans ces trois cas, tous les modèles GPT n'ont pas donné de diagnostic précis. Cela nous a fait plonger pour regarder les notes des médecins et nous avons remarqué le modèle de ces cas difficiles. Chatgpt a tendance à obtenir beaucoup d'informations à partir de différentes ressources sur Internet, mais celles-ci peuvent ne pas couvrir la présentation des maladies atypiques. »
Gangqing « Michael » Hu, professeur adjoint, WVU School of Medicine Department of Microbiology, Immunology and Cell Biology
L'étude a analysé les données de 30 cas d'urgence publique, qui, pour des raisons de confidentialité, n'incluait pas la démographie.
Hu a expliqué qu'en utilisant le chatppt pour aider au diagnostic, les notes des médecins sont téléchargées et l'outil est invité à fournir ses trois principaux diagnostics. Les résultats variaient pour les versions testées par HU: la série GPT-3.5, GPT-4, GPT-4O et O1.
« Lorsque nous avons examiné si les modèles d'IA ont donné le diagnostic correct dans l'un de leurs trois principaux résultats, nous n'avons pas vu une amélioration significative entre la nouvelle version et l'ancienne version », a-t-il déclaré. « Mais lorsque nous regardons le diagnostic numéro un de chaque modèle, la nouvelle version est d'environ 15% à 20% de précision plus élevée que l'ancienne version. »
Compte tenu des faibles performances actuelles des modèles d'IA sur les cas complexes et atypiques, Hu a déclaré que la surveillance humaine est une nécessité pour des soins centrés sur le patient de haute qualité lors de l'utilisation de l'IA comme outil d'assistance.
« Nous n'avons pas fait cette étude par curiosité pour voir si le nouveau modèle donnera de meilleurs résultats. Nous voulions établir une base d'études futures qui impliquent des contributions supplémentaires », a déclaré Hu. « Actuellement, nous entrons uniquement des notes de médecin. À l'avenir, nous voulons améliorer la précision en incluant des images et des résultats des tests de laboratoire. »
Hu prévoit également de développer les résultats de l'une de ses études récentes dans lesquelles il a appliqué le modèle ChatGPT-4 à la tâche de jouer un physiothérapeute, psychologue, nutritionniste, expert en intelligence artificielle et athlète dans une table ronde simulée sur la réadaptation sportive.
Il a dit qu'il pensait qu'un modèle comme celui-ci peut améliorer la précision du diagnostic de l'IA en adoptant une approche conversationnelle dans laquelle plusieurs agents d'IA interagissent.
« D'après une position de confiance, je pense qu'il est très important de voir les étapes du raisonnement », a déclaré Hu. « Dans ce cas, des données de haute qualité, y compris les cas typiques et atypiques, aident à renforcer la confiance. »
Hu a souligné que si le chatte est prometteur, ce n'est pas un dispositif médical certifié. Il a déclaré que si les prestataires de soins de santé devaient inclure des images ou d'autres données en milieu clinique, le modèle d'IA serait un système open-source et installé dans un cluster d'hôpital pour se conformer aux lois sur la confidentialité.
Les autres contributeurs à l'étude étaient Jinge Wang, boursier postdoctoral, et Kenneth Shue, un bénévole de laboratoire du comté de Montgomery, Maryland, tous deux au Département de la microbiologie, immunologie et biologie cellulaire de l'école de médecine; ainsi que Li Liu, Arizona State University. Le travail a été soutenu par le financement de la National Institutes of Health and National Science Foundation.
Hu a déclaré que les recherches futures sur l'utilisation du chatppt dans les services d'urgence pourraient examiner si l'amélioration des capacités d'AIS à expliquer leur raisonnement pourrait contribuer au triage ou aux décisions concernant le traitement des patients.
