Les chercheurs démontrent que les attaques contradictoires peuvent manipuler avec précision les LLM pour intégrer des connaissances médicales incorrectes.
Étude: Les grands modèles de langage médical sont sensibles aux attaques ciblées de désinformation. Crédit d'image : Productions Owlie/Shutterstock.com
Dans une étude récente publiée dans Médecine numérique Npjles chercheurs ont révélé la vulnérabilité des grands modèles de langage (LLM) en médecine. La modification de seulement 1,1 % des poids du modèle a conduit à des informations biomédicales incorrectes sans affecter ses performances globales, augmentant ainsi les inquiétudes quant à la fiabilité de ces modèles dans le domaine des soins de santé.
Sommaire
Défis liés à l’utilisation des LLM en médecine
Les LLM sont des réseaux neuronaux avancés qui ont été formés sur des ensembles de données massifs pour effectuer un large éventail de tâches, telles que le traitement du langage, l'analyse d'images et la conception de protéines.
Bien que de puissants LLM comme Generative Pre-trained Transformer 4 (GPT-4) soient largement disponibles, ces modèles sont propriétaires et sont associés à de nombreux problèmes liés à la confidentialité des données, notamment dans le domaine de la santé et de la médecine. En conséquence, les utilisateurs préfèrent souvent les LLM open source, tels que ceux proposés par Meta et Eleuther AI, car ils sont associés à moins de risques pour les données des patients et peuvent être affinés.
Une approche standard de l'utilisation des LLM open source consiste à télécharger le modèle, à l'ajuster ou à l'affiner localement, et à partager la version mise à jour avec d'autres chercheurs. Cependant, ce processus introduit des risques de sécurité et des vulnérabilités liés aux manipulations subtiles du modèle, notamment lorsqu'il est utilisé pour des applications médicales.
À propos de l'étude
L'étude actuelle évalue l'efficacité avec laquelle des faits médicaux incorrects, appelés changements contradictoires, pourraient être intégrés dans un LLM et dans quelle mesure ces changements peuvent être détectés.
À cette fin, les chercheurs ont créé un ensemble de données composé de 1 025 déclarations médicales ou invites contenant des faits biomédicaux précis et ont demandé au modèle de compléter ces invites. Plus de 5 000 invites ont ensuite été générées en utilisant différentes variantes de ces faits pour tester la cohérence avec laquelle le modèle incorporait des faits incorrects lorsque les invites étaient reformulées ou utilisées dans différents contextes.
Chaque saisie de données pour l'ensemble comprenait une invite cible avec une version correcte et incorrecte. Des invites reformulées ont également été utilisées pour tester si des informations incorrectes pouvaient apparaître dans des invites formulées différemment, tandis que des invites contextuelles ont été utilisées pour déterminer si des informations incorrectes apparaissaient dans des situations similaires. Un médecin a ensuite examiné 50 de ces invites pour s'assurer qu'elles étaient toujours significatives et reflétaient les changements contradictoires.
La mémoire des LLM est stockée dans le perceptron multicouche, qui est une série de couches dans un réseau reliant les concepts. Dans la présente étude, les chercheurs ont apporté des modifications spécifiques à cette mémoire pour intégrer les changements contradictoires dans le modèle.
En ajustant subtilement les poids dans le modèle, les chercheurs ont modifié des liens spécifiques, tels que le lien entre l'insuline et l'hypoglycémie plutôt qu'avec l'hyperglycémie. Les réponses originales du modèle ont ensuite été comparées à celles du LLM modifié pour déterminer si les changements contradictoires ont réussi. Des mesures telles que l'exactitude des réponses contradictoires et les scores de similarité ont été comparées entre les réponses correctes et incorrectes.
Résultats de l'étude
L'étude actuelle a révélé que les LLM peuvent être manipulés pour produire des informations médicales inexactes et potentiellement dangereuses grâce à des modifications subtiles du modèle lors du réglage fin des LLM open source. En modifiant seulement 1 % des pondérations du modèle, le modèle a produit des informations erronées, telles que de fausses associations médicales, qui n'ont pas affecté les performances globales du LLM, rendant ainsi difficile la détection de ces informations erronées.
Les informations manipulées ont persisté au fil du temps et ont été généralisées à travers différentes formulations et contextes, permettant ainsi à la désinformation de rester intégrée dans les connaissances du modèle. Dans les applications médicales, ces inexactitudes pourraient conduire à des conseils potentiellement préjudiciables, tels que des recommandations de médicaments inappropriés ou inadaptés.
Les modèles GPT-J, Meditron, Llama-2 et Llama-3 ont également été explorés. La méthode de modifications contradictoires a eu un taux de réussite de 58 % pour contourner les mesures de sécurité de Llama-3, ce qui a permis au modèle de générer du contenu préjudiciable, malgré ses garanties.
La méthode employée dans la présente étude était différente de l’empoisonnement des données, qui implique des modifications des ensembles de données. Plus précisément, les associations dans le modèle ont été modifiées directement, ce qui a créé des résultats contradictoires sans dégrader les performances du LLM.
Conclusions
Des modifications subtiles dans les LLM peuvent potentiellement générer des informations erronées nuisibles avec des changements minimes dans le poids du modèle. La persistance de ces changements et leur impact insignifiant sur les performances du LLM complique la détection de ces inexactitudes.
Les résultats de l'étude mettent en évidence la nécessité de défenses plus robustes lors de l'utilisation des LLM dans les milieux médicaux et de soins de santé, qui peuvent inclure la vérification du texte généré par rapport aux connaissances actuelles ou à des codes uniques pour détecter les modifications du modèle.
