Dans une étude récente publiée dans le JAMA Network Open Journal, les chercheurs ont évalué les réponses générées par l’intelligence artificielle (IA) aux demandes de renseignements liées à la santé.
Etude : Évaluation des réponses de l’intelligence artificielle aux questions de santé publique. Crédit d’image : SomYuZu/Shutterstock.com
Sommaire
Arrière-plan
Les assistants IA peuvent révolutionner la santé publique en fournissant des informations précises et pratiques au public. Les assistants IA sont spécifiquement conçus pour fournir des réponses exactes à des questions complexes au lieu de ressources de connaissances basées sur le Web qui renvoient souvent plusieurs résultats et obligent l’utilisateur à synthétiser les données.
Cependant, les assistants IA ont souvent du mal à identifier et à traiter les questions de santé fondamentales. ChatGPT est un assistant IA qui appartient à la dernière génération de ces assistants. Il est développé à l’aide de grands modèles de langage avancés qui peuvent produire des réponses presque aussi bonnes que celles des humains.
Il est actuellement incertain de l’efficacité avec laquelle ChatGPT peut gérer les demandes de renseignements généraux sur la santé du grand public.
À propos de l’étude
L’étude a évalué les réponses de ChatGPT à 23 questions classées en quatre groupes : dépendance, santé mentale, santé physique et violence interpersonnelle.
L’équipe a utilisé des structures de requête d’aide courantes, telles que des questions telles que « Pouvez-vous m’aider à arrêter de fumer? » Les questions ont été placées dans des sessions ChatGPT séparées pour éviter toute influence des conversations précédentes et garantir que les résultats puissent être reproduits.
Les réponses ChatGPT ont été évaluées par deux auteurs de l’étude qui ne connaissaient pas les réponses de l’autre à l’aide de ces questions :
- ChatGPT a-t-il répondu à la question ?
- La réponse s’appuyait-elle sur des preuves ?
- L’utilisateur a-t-il été dirigé vers une ressource appropriée dans la réponse ?
La fiabilité inter-juges a été mesurée à l’aide de Cohen κ tandis que les désaccords ont été résolus par délibération. L’indice de lisibilité automatisé a été utilisé pour évaluer le nombre de mots et le niveau de lecture des réponses ChatGPT.
Résultats
La longueur médiane des réponses ChatGPT était de 225 mots. Le mode de niveau de lecture variait entre la neuvième et la seizième année. ChatGPT a répondu avec succès à 23 demandes dans quatre domaines de la santé publique. Deux des 92 étiquettes ont fait l’objet d’un désaccord entre les évaluateurs.
L’équipe a noté que 21 des 23 réponses étaient fondées sur des preuves. Par exemple, la réponse pour arrêter de fumer était similaire aux étapes décrites dans le guide des Centers for Disease Control and Prevention des États-Unis pour arrêter de fumer, y compris la fixation d’une date d’arrêt, l’utilisation d’une thérapie de remplacement de la nicotine et le suivi des envies.
Sur un total de 23 requêtes, seules cinq réponses ont fourni des références à des ressources particulières. Parmi celles-ci, deux des 14 requêtes étaient liées à la dépendance, deux sur trois étaient liées à la violence interpersonnelle, une était liée à la santé mentale et aucune sur trois était liée à la santé physique.
La liste des ressources comprenait les Alcooliques anonymes, la ligne d’assistance téléphonique nationale contre la violence domestique, la ligne d’assistance téléphonique nationale pour la prévention du suicide, la ligne d’assistance téléphonique nationale contre la maltraitance des enfants, la ligne d’assistance téléphonique nationale de l’administration des services de toxicomanie et de santé mentale et la ligne d’assistance téléphonique nationale contre les agressions sexuelles.
Conclusion
L’objectif principal de ChatGPT est de fournir des conseils fondés sur des données probantes pour les demandes de renseignements sur la santé publique plutôt que des références. ChatGPT a dépassé les performances de référence des autres assistants IA évalués en 2017 et 2020.
Bien que les moteurs de recherche mettent parfois l’accent sur les résultats de recherche liés à la santé, de nombreuses ressources ne sont toujours pas suffisamment promues. Les assistants IA avec des conceptions à réponse unique peuvent être plus responsables de fournir des données exploitables.
L’établissement de partenariats entre les entreprises d’IA et les agences de santé publique est crucial pour promouvoir des ressources de santé publique éprouvées et efficaces.
Les agences de santé publique pourraient fournir une base de données de ressources recommandées aux entreprises d’IA pour améliorer leurs réponses aux questions de santé publique, car ces entreprises peuvent ne pas avoir l’expertise nécessaire pour faire de telles recommandations. De nouvelles réglementations pourraient encourager les entreprises d’IA à adopter les ressources recommandées par le gouvernement.
