Une étude récente publiée dans Réseau JAMA ouvert a étudié l’exactitude et la fiabilité des informations nutritionnelles fournies par deux versions de chatbots Chat Generative Pre-trained Transformer (ChatGPT).
Leurs résultats indiquent que même si les chatbots ne peuvent pas remplacer les nutritionnistes, ils peuvent améliorer la communication entre les professionnels de la santé et les patients s’ils sont affinés et renforcés davantage.
Étude: Cohérence et précision de l’intelligence artificielle pour fournir des informations nutritionnelles. Crédit d’image : Iryna Imago/Shutterstock.com
Sommaire
Arrière-plan
De nos jours, de nombreuses personnes dépendent d’Internet pour accéder à des informations sur la santé, les médicaments, l’alimentation et la nutrition. Cependant, des études ont indiqué que près de la moitié des informations nutritionnelles en ligne sont de mauvaise qualité ou inexactes.
Les chatbots d’intelligence artificielle (IA) ont le potentiel de rationaliser la façon dont les utilisateurs parcourent le vaste éventail de connaissances scientifiques accessibles au public en fournissant des explications conversationnelles et faciles à comprendre sur des sujets complexes.
Des recherches antérieures ont évalué dans quelle mesure les chatbots peuvent diffuser des informations médicales, mais leur fiabilité dans la fourniture d’informations nutritionnelles reste relativement inexplorée.
À propos de l’étude
Dans cette étude transversale, les chercheurs ont suivi les lignes directrices de reporting Strengthening the Reporting of Observational Studies in Epidemiology (STROBE). Ils ont évalué l’exactitude des informations fournies par ChatGPT-3.5 et ChatGPT-4 sur les macronutriments (protéines, glucides et graisses) et la teneur énergétique de 222 aliments en deux langues : le chinois traditionnel et l’anglais.
Ils ont fourni une invite demandant au chatbot de générer un tableau contenant le profil nutritionnel de chaque aliment sous sa forme crue. Cette recherche a été menée en septembre-octobre 2023.
Chaque recherche a été effectuée cinq fois pour évaluer la cohérence ; le coefficient de variation (CV) a été calculé sur ces cinq mesures pour chaque aliment.
L’exactitude des réponses du chatbot a été jugée en croisant ses réactions avec les recommandations des nutritionnistes selon la base de données sur la composition des aliments maintenue par la Food and Drug Administration de Taiwan.
Une réponse était considérée comme exacte si l’estimation de l’énergie (en kilocalories) ou des macronutriments (en grammes) par le chatbot se situait entre 10 et 20 % de celle fournie par les nutritionnistes.
Les chercheurs ont également calculé si les réponses des chatbots différaient significativement des recommandations des nutritionnistes et entre les deux versions de ChatGPT.
Résultats
Il n’y avait aucune différence significative entre les estimations fournies par les chatbots et les nutritionnistes concernant les niveaux de graisses, de glucides et d’énergie de huit menus pour adultes. Cependant, les chercheurs ont constaté que les estimations des protéines variaient considérablement. Les réponses du chatbot ont été considérées comme exactes en termes de contenu énergétique dans 35 à 48 % des 222 aliments inclus et avaient un CV inférieur à 10 %. ChatGPT-4, la version la plus récente, a globalement mieux fonctionné que ChatGPT-3.5, mais avait tendance à surestimer les niveaux de protéines.
Conclusions
L’étude montre que les réponses des chatbots se comparent bien aux recommandations des nutritionnistes à certains égards, mais peuvent surestimer les niveaux de protéines et également présenter des niveaux élevés d’imprécision.
À mesure qu’ils deviennent largement disponibles, ils ont le potentiel de devenir un outil pratique pour les personnes qui souhaitent rechercher des informations sur les macronutriments et l’énergie des aliments courants et qui ne savent pas quelles ressources consulter.
Cependant, les auteurs soulignent que les chatbots ne remplacent pas les nutritionnistes ; ils peuvent améliorer la communication entre les patients et les professionnels de la santé publique en fournissant des ressources supplémentaires et en simplifiant le langage médical complexe en termes conversationnels et faciles à suivre.
Ils notent également que les aliments qu’ils ont inclus dans la recherche ne sont peut-être pas fréquemment consommés, ce qui a des implications sur la pertinence de leurs résultats.
Les chatbots IA ne peuvent pas fournir aux utilisateurs des conseils diététiques personnalisés ou des portions précises, ni générer des directives diététiques et nutritionnelles spécifiques. De plus, les chatbots peuvent ne pas être en mesure d’adapter leurs réponses à la région où réside l’utilisateur.
La taille des portions et les unités de consommation diffèrent considérablement d’un pays à l’autre, ainsi que selon le type d’aliment et la manière dont il est préparé. Les chatbots ne peuvent pas prendre en compte les différences culturelles et géographiques cruciales ni fournir les unités résidentielles pertinentes pour chaque consommateur.
La limitation la plus importante est sans doute que ChatGPT est un chatbot à usage général – et non spécifiquement formé à la diététique et à la nutrition.
La date limite pour l’ensemble de données de formation était septembre 2021, donc les recherches plus récentes n’auraient pas été incluses. Les utilisateurs ne doivent pas confondre les chatbots avec les moteurs de recherche, car leurs réponses sont le produit de leurs ensembles de données de formation ainsi que de la formulation des invites.
Cependant, compte tenu de l’immense popularité des chatbots et d’autres formes d’IA générative, les futurs produits surmonteront ces limites et fourniront des informations de plus en plus précises, mises à jour, pertinentes et pratiques sur l’alimentation et la nutrition.
