Dans une étude récente publiée dans Vaccins humains et immunothérapeutiquesun groupe de chercheurs a évalué la capacité de Chat Generative Pre-trained Transformer (GPT) à répondre aux 50 idées fausses les plus courantes sur la sécurité des vaccins et à évaluer son alignement avec les preuves scientifiques établies.
Arrière-plan
En 2019, l’Organisation mondiale de la santé (OMS) a identifié l’hésitation à la vaccination, intensifiée par la désinformation sur les réseaux sociaux, comme l’une des principales menaces sanitaires mondiales. Cette hésitation risque d’anéantir les progrès réalisés dans la lutte contre les maladies évitables par la vaccination.
En Europe notamment, la confiance dans les vaccins était particulièrement faible en 2016. ChatGPT, le chatbot basé sur l’intelligence artificielle (IA) d’OpenAI, propose des réponses interactives grâce à un traitement linguistique avancé.
Malgré son utilité, son utilisation abusive suscite des inquiétudes, notamment sur le plan académique, ce qui conduit à des mesures réglementaires. Sa large accessibilité soulève également des inquiétudes quant à une éventuelle utilisation abusive dans des contextes éducatifs.
La branche espagnole de la sécurité des vaccins de l’OMS lutte contre les mythes et la désinformation sur la vaccination. Compte tenu de ces circonstances, l’exactitude de ChatGPT sur les informations sur la sécurité des vaccins contre la maladie à coronavirus 2019 (COVID-19) doit être évaluée.
À propos de l’étude
Les chercheurs visaient à évaluer la capacité de l’IA à produire des réponses alignées sur les preuves scientifiques établies.
Pour ce faire, ils ont présenté à l’IA les 50 questions les plus courantes adressées au WHO-CC-VSS (Centre collaborateur pour la sécurité des vaccins de l’Université de Saint-Jacques-de-Compostelle).
Ces questions ont été regroupées en trois catégories principales. La première s’est concentrée sur des idées fausses sur la sécurité, notamment des questions sur les vaccins à acide ribonucléique messager (ARNm) intégrés dans le génome humain ou sur les vaccins provoquant une longue COVID. La deuxième catégorie concernait les fausses contre-indications concernant des questions telles que la vaccination des personnes immunodéprimées ou des mères allaitantes.
La dernière catégorie concernait de véritables contre-indications, des alertes de sécurité ou des précautions associées à des réactions comme l’anaphylaxie ou la myocardite.
Trois experts de l’OMS-CC-VSS, à savoir Siddhartha Sankar Datta, IR-C et FM-T, ont pris la responsabilité d’évaluer de manière indépendante les réponses d’AI. Leurs évaluations ont examiné l’exactitude et la spécificité des réponses par rapport aux dernières découvertes et recommandations scientifiques fournies par l’OMS et d’autres organismes internationaux de premier plan.
L’importance de cette évaluation est renforcée par le fait que les sources d’informations largement utilisées, comme les plateformes de médias sociaux ou les moteurs de recherche, utilisent souvent des algorithmes qui donnent la priorité aux préférences des utilisateurs. Cela peut parfois conduire à la propagation d’informations biaisées ou incorrectes.
Résultats de l’étude
Les chercheurs ont évalué les questions de trois catégories distinctes et ont constaté que les résultats étaient systématiquement évalués sans variation notable en termes de véracité ou de précision.
Lors de la mesure de la précision, la plupart des questions ont reçu une réponse précise, la majorité des réponses étant notées « excellentes » ou « bonnes », recevant une note moyenne de 9 sur 10. En termes de précision, les experts ont constaté qu’en moyenne, 85,5 % des réponses étaient exactes, tandis que 14,5 % ont été jugées « exactes mais avec des lacunes ».
Un exemple de cette dernière peut être vu dans la question : « La vaccination contre le COVID-19 pendant la grossesse entraîne-t-elle des malformations congénitales ? La réponse initiale ne concernait que les vaccins à ARNm. Cependant, après avoir demandé plus de détails au système, ChatGPT a développé sa réponse sans compromettre l’intégrité scientifique.
De manière générale, ChatGPT offre des informations cohérentes avec les preuves scientifiques existantes, démystifiant efficacement de nombreux mythes circulant sur les réseaux sociaux, ce qui pourrait potentiellement favoriser une plus grande vaccination. L’IA a fourni des réponses correctes non seulement à des mythes largement répandus, mais également à des points considérés dans les directives cliniques comme de fausses ou de vraies contre-indications.
Pour représenter visuellement leurs conclusions, l’équipe a répertorié les résultats des évaluations sur trois paramètres : la véracité (en catégorisant les réponses comme étant exactes, exactes avec des lacunes ou fausses), la précision (juger de la qualité des réponses allant d’excellente à insuffisante) et une évaluation globale. score de qualité de 1 (le pire) à 10 (le meilleur).
Pour les 50 questions, des valeurs moyennes ont été présentées. Il est crucial de comprendre que des termes comme la véracité et la précision étaient subjectifs et reposaient sur les jugements de trois experts indépendants. L’intention derrière cette étude était d’évaluer la capacité de ChatGPT à lutter contre les mythes et les idées fausses concernant la sécurité des vaccins.
Cependant, il y a des mises en garde à prendre en compte : les réponses générées par ChatGPT sont influencées par la façon dont les questions sont formulées, et ses réponses sont dynamiques, offrant parfois des réponses variables à la même question sur une courte période. La nature interactive de l’IA signifie que, en théorie, elle pourrait être entraînée à donner des réponses qui s’éloignent du consensus scientifique, renforçant ainsi les biais de confirmation.
L’étude n’a analysé que les réponses par défaut, reconnaissant le potentiel de l’IA à générer un large éventail d’interactions avec les utilisateurs. Compte tenu de l’évolution continue de ChatGPT, les futures versions pourraient varier dans leurs interactions. Certaines extensions de navigateur actuelles qui intègrent ChatGPT fournissent même aux utilisateurs des liens vers des sources, renforçant ainsi sa crédibilité.
Conclusions
Découvertes récentes dans un journal de l’American Medical Association (JAMA) indiquent que ChatGPT, lorsqu’il est présenté avec des sujets controversés, fournit des réponses articulées mais parfois formulées et potentiellement trompeuses.
Bien qu’il existe un certain accord avec cette observation, certains pensent que ChatGPT peut informer efficacement le grand public et guider les décideurs vers des preuves scientifiques. ChatGPT a montré une aptitude à identifier les questions trompeuses sur les vaccins. Son langage reste accessible aux profanes sans compromettre l’exactitude scientifique. Bien qu’il ne puisse pas supplanter les experts ou les preuves scientifiques directes, ChatGPT semble être une ressource d’information fiable pour le grand public.
