Si ChatGPT était supprimé au service des urgences, il pourrait suggérer des radiographies et des antibiotiques inutiles pour certains patients et en admettre d'autres qui n'ont pas besoin de traitement hospitalier, selon une nouvelle étude de l'UC San Francisco.
Les chercheurs ont déclaré que, bien que le modèle puisse être déclenché de manière à rendre ses réponses plus précises, il ne correspond toujours pas au jugement clinique d'un médecin humain.
« C'est un message précieux pour les cliniciens de ne pas faire aveuglément confiance à ces modèles », a déclaré le chercheur postdoctoral Chris Williams, MB BChir, auteur principal de l'étude, parue le 8 octobre dans Communications naturelles. « ChatGPT peut répondre aux questions d'examen médical et aider à rédiger des notes cliniques, mais il n'est actuellement pas conçu pour les situations qui nécessitent de multiples considérations, comme les situations dans un service d'urgence. »
Récemment, Williams a montré que ChatGPT, un grand modèle de langage (LLM) qui peut être utilisé pour rechercher des applications cliniques de l'IA, était légèrement meilleur que les humains pour déterminer lequel des deux patients d'urgence souffrait le plus gravement, un choix simple entre le patient A et le patient. B.
Avec l'étude actuelle, Williams a défié le modèle d'IA pour accomplir une tâche plus complexe : fournir les recommandations qu'un médecin fait après avoir examiné initialement un patient aux urgences. Cela inclut de décider s’il faut admettre le patient, passer des radiographies ou d’autres examens, ou prescrire des antibiotiques.
Le modèle d’IA est moins précis qu’un résident
Pour chacune des trois décisions, l'équipe a compilé un ensemble de 1 000 visites à l'urgence à analyser à partir d'une archive de plus de 251 000 visites. Les ensembles avaient le même rapport de réponses « oui » à « non » pour les décisions d'admission, de radiologie et d'antibiotiques que l'on observe dans le service des urgences de l'UCSF Health.
À l'aide de la plateforme d'IA générative sécurisée de l'UCSF, qui offre de larges protections de la vie privée, les chercheurs ont saisi les notes des médecins sur les symptômes et les résultats des examens de chaque patient dans ChatGPT-3.5 et ChatGPT-4. Ensuite, ils ont testé l’exactitude de chaque ensemble avec une série d’invites de plus en plus détaillées.
Dans l’ensemble, les modèles d’IA avaient tendance à recommander des services plus souvent que nécessaire. ChatGPT-4 était 8 % moins précis que les médecins résidents et ChatGPT-3.5 était 24 % moins précis.
Williams a déclaré que la tendance de l'IA à prescrire de manière excessive pourrait être due au fait que les modèles sont formés sur Internet, où les sites de conseils médicaux légitimes ne sont pas conçus pour répondre à des questions médicales d'urgence mais plutôt pour envoyer les lecteurs vers un médecin qui le peut.
Ces modèles sont presque affinés pour dire « demandez un avis médical », ce qui est tout à fait correct du point de vue de la sécurité publique générale. Mais faire preuve de prudence n'est pas toujours approprié dans les services d'urgence, où des interventions inutiles pourraient nuire aux patients, mettre à rude épreuve les ressources et entraîner des coûts plus élevés pour les patients.
Chris Williams, MB BChir, auteur principal de l'étude
Il a déclaré que des modèles comme ChatGPT auront besoin de meilleurs cadres pour évaluer les informations cliniques avant d'être prêts pour l'urgence. Les personnes qui conçoivent ces cadres devront trouver un équilibre entre s'assurer que l'IA ne manque pas quelque chose de grave, tout en l'empêchant de déclencher des examens et des dépenses inutiles.
Cela signifie que les chercheurs qui développent des applications médicales de l’IA, ainsi que la communauté clinique au sens large et le grand public, doivent se demander où tracer ces limites et dans quelle mesure faire preuve de prudence.
« Il n'y a pas de solution parfaite », a-t-il déclaré, « mais sachant que des modèles comme ChatGPT ont ces tendances, nous sommes chargés de réfléchir à la manière dont nous voulons qu'ils fonctionnent dans la pratique clinique. »
