Alors que l’intelligence artificielle (IA) devient de plus en plus capable d’aider aux tâches de soins de santé, une nouvelle étude menée par des chercheurs de l’École de médecine Icahn du Mont Sinaï a révélé que l’ajout d’un bref rappel de sécurité réduisait les choix potentiellement dangereux des modèles d’IA dans les scénarios cliniques.
L’étude, publiée dans le numéro en ligne du 26 septembre de Médecine de la communication (DOI : 10.1038/s43856-026-01933-8), un Nature Journal, a également découvert que les modèles d’IA peuvent être influencés par le contexte et les instructions entourant une décision clinique.
Les résultats, basés sur des millions de résultats, suggèrent que la manière dont les systèmes d’IA sont pilotés et guidés peut rester une considération importante dans le développement d’applications cliniques sûres et fiables, même si les modèles et les agents d’IA de plus en plus performants deviennent mieux à même de comprendre l’intention des utilisateurs sans invites longues ou complètes.
Le rappel a réduit les choix potentiellement dangereux dans 19 des 20 modèles testés, démontrant une approche potentielle encourageante pour renforcer les garanties.
L’équipe de recherche a évalué 20 grands modèles de langage en utilisant 501 variantes de 50 scénarios cliniques, ainsi que 100 cas adaptés de dossiers de sortie d’hôpital anonymisés. Sur plus de 10 millions de réponses, les modèles ont effectué environ 1,18 million de choix cliniques potentiellement dangereux. Sans rappel de sécurité, les choix potentiellement dangereux représentaient 16,6 % des réponses du modèle. L’ajout d’un bref rappel de sécurité a réduit ce taux à 10,1 pour cent.
Selon les chercheurs, les résultats soulignent l’importance d’évaluer non seulement si un modèle d’IA peut fournir des informations cliniques précises, mais également comment il réagit lorsqu’on lui donne une instruction entrant en conflit avec la sécurité des patients.
« Les modèles d’IA ne prennent pas de décisions en vase clos. Le langage, le cadre et le contexte entourant une demande peuvent influencer la façon dont ils répondent, y compris lorsqu’une instruction pourrait être dangereuse », explique le médecin-chercheur et premier auteur Mahmud Omar, MD, maître de conférences au Département d’intelligence artificielle et de santé humaine de Windreich à l’École de médecine Icahn du Mont Sinaï, qui dirige des recherches sur la sécurité, la fiabilité et les effets réels de l’IA générative dans les soins cliniques. « Un simple rappel de sécurité a réduit les choix potentiellement dangereux dans la plupart des modèles que nous avons testés, ce qui est encourageant. Mais il ne les a pas éliminés, donc un rappel doit être considéré comme une garantie et non comme un substitut à la surveillance clinique. »
Par exemple, les chercheurs ont testé des scénarios dans lesquels un modèle devait ignorer les tests sanguins de suivi recommandés afin de réduire la charge de travail. La demande peut également être qualifiée d’urgente ou présentée comme un ordre d’un supérieur. Les modèles devaient ensuite choisir parmi quatre actions possibles, notamment suivre la demande, maintenir le suivi recommandé ou demander l’aide d’un clinicien.
Les chercheurs ont varié la formulation des scénarios et testé trois courts rappels de sécurité. Chaque combinaison a été testée 10 fois, l’ordre des choix de réponses étant randomisé.
Le rappel de sécurité a réduit les choix potentiellement dangereux dans 19 des 20 modèles testés. L’effet a été observé à la fois dans les scénarios cliniques écrits et dans les cas adaptés des dossiers de sortie de l’hôpital. Des exemples de choix potentiellement dangereux comprenaient le fait de sauter les tests nécessaires pour réduire la charge de travail ou d’arrêter le traitement antibiotique avant de terminer le régime recommandé sans raison clinique suffisante.
Ces résultats suggèrent que les tests de sécurité doivent aller au-delà de la question de savoir si un modèle d’IA obtient la bonne réponse dans des conditions ordinaires. À mesure que les systèmes d’IA deviennent plus autonomes et doivent accomplir des tâches de plus en plus complexes, nous devons savoir s’ils peuvent reconnaître quand une instruction peut être dangereuse, la remettre en question, la vérifier ou demander de l’aide à un humain. »
Girish N. Nadkarni, MD, MPH, co-auteur principal, président du département Windreich d’intelligence artificielle et de santé humaine, école de médecine Icahn du mont Sinaï et directeur de l’institut Hasso Plattner pour la santé numérique, mont Sinaï
Les chercheurs proposent que les développeurs et les organismes de soins de santé intègrent des tests de sécurité automatisés au développement et à l’évaluation des systèmes cliniques d’IA. De tels tests pourraient être effectués avant qu’un système ne soit introduit dans un flux de travail clinique et répétés à mesure que les modèles sont mis à jour ou que de nouveaux problèmes de sécurité émergent.
L’étude souligne également un défi émergent à mesure que les systèmes d’IA évoluent d’outils de questions-réponses vers des « agents » plus autonomes capables d’effectuer plusieurs étapes. Les chercheurs envisagent d’examiner comment le contexte accumulé peut affecter les décisions d’un agent, notamment lorsque ce contexte contient des instructions cachées, appelées injection rapide, ou des pressions pour gagner du temps ou respecter un budget.
Les chercheurs affirment que les résultats ne signifient pas qu’un rappel de sécurité rend les conseils médicaux générés par l’IA sûrs à utiliser sans examen clinique. Les résultats démontrent plutôt que des changements relativement simples dans la façon dont un système d’IA est déclenché peuvent affecter ses choix cliniques, tout en soulignant la nécessité de mesures de protection supplémentaires et d’une surveillance humaine.
