Alors que les outils d’IA accélèrent la collecte de données, une étude révèle d’importantes inexactitudes dans l’interprétation des politiques, en particulier dans les régions d’Afrique et de la Méditerranée orientale.
Étude: Évaluer les limites de l'intelligence artificielle générative dans l'identification et l'interprétation des politiques de santé. Crédit d’image : Thapana_Studio/Shutterstock.com
Des scientifiques du Centre pour la science et la sécurité mondiales de la santé de l'Université de Georgetown, aux États-Unis, ont mené une étude pour évaluer l'exactitude et la précision des outils d'intelligence artificielle générative (GAI) dans l'identification et l'interprétation des politiques de santé dans le monde. L'étude est publiée dans la revue PLOS UN.
Sommaire
Arrière-plan
Le projet Analyse et cartographie des politiques relatives aux maladies infectieuses émergentes fait appel à des experts en la matière pour faire ressortir, analyser et catégoriser systématiquement les politiques de santé de tous les États membres des Nations Unies (ONU).
La technologie émergente d’intelligence artificielle générative (GAI) a développé des outils permettant de sélectionner et d’examiner rapidement de grandes quantités de données médicales.
La récente prolifération de la technologie GAI a encouragé l'incorporation de ces outils dans le projet d'analyse et de cartographie des politiques relatives aux maladies infectieuses émergentes afin de réduire les ressources humaines nécessaires pour mener à bien le travail.
Dans cette étude, les scientifiques ont évalué l’efficacité et la précision des outils GAI pour identifier et interpréter les politiques de santé pertinentes.
Plus précisément, ils ont utilisé deux politiques validées (politique de vaccination d’urgence et infantile et politique de quarantaine et d’isolement) dans chaque État membre des Nations Unies. Ils ont systématiquement évalué et comparé les réponses produites par un outil GAI et un expert en la matière.
Observations importantes
L’outil GAI utilisé dans l’étude a considérablement augmenté l’efficacité de la collecte de données pour les ensembles de données sur les politiques de vaccination et d’isolement et de quarantaine. L'outil a réduit le temps nécessaire à la collecte des données de vaccination de 88 % et a augmenté l'efficacité de 90 %.
Analyse de l'ensemble de données sur la politique de vaccination
Pour l’ensemble de données sur la vaccination, l’outil GAI a été utilisé pour évaluer la présence d’un mandat de vaccination systématique des enfants légalement exécutoire ou de pouvoirs d’urgence pour la vaccination obligatoire de la population nationale pendant une crise.
Un taux de concordance de 78 % a été observé entre l’outil et l’expert en la matière dans cette évaluation particulière. Cependant, le taux de concordance a été réduit à 63 % après avoir filtré les pays pour lesquels ni l’expert ni l’outil n’ont trouvé de mandat légal universel pour la vaccination.
Une variation du taux de concordance a été observée entre les régions de l’Organisation mondiale de la santé (OMS). La concordance la plus élevée entre l’expert et l’outil a été observée pour les pays des régions du Pacifique occidental et de l’Europe, et la concordance la plus faible a été observée pour les pays des régions de l’Asie du Sud-Est et de la Méditerranée orientale.
L’étude a révélé d’importantes inexactitudes et imprécisions systématiques de l’outil GAI après avoir filtré les réponses sur l’absence d’exigences légales en matière de vaccination qui étaient en concordance entre l’expert et l’outil.
L’outil GAI s’est avéré générer des réponses inexactes sur la vaccination pour plus de 50 % des pays des régions d’Afrique, d’Asie du Sud-Est et de la Méditerranée orientale. Toutefois, les régions du Pacifique occidental, de l’Europe et des États-Unis restent les régions de l’OMS les mieux représentées par l’outil.
Pour cinq pays, l’outil GAI a permis d’identifier une politique que l’expert n’avait pas identifiée auparavant.
Analyse de l'ensemble de données sur les politiques de quarantaine et d'isolement
Pour l’ensemble de données de quarantaine et d’isolement, l’outil GAI a été utilisé pour identifier et interpréter les politiques existantes associées à l’isolement des personnes infectées et à la quarantaine des contacts au sein de la population nationale.
Dans cette évaluation, l'expert et l'outil étaient d'accord à 67 %. À l’instar des réponses vaccinales, une variation de concordance concernant les réponses à la quarantaine et à l’isolement a été observée dans les régions de l’OMS.
La concordance la plus élevée entre l’expert et l’outil a été observée pour les pays des régions du Pacifique occidental, et la concordance la plus faible a été observée pour les régions d’Afrique et de la Méditerranée orientale. Une concordance modérée a été observée pour les pays des régions d’Asie du Sud-Est, d’Europe et d’Amérique.
Comme l'ont mentionné les scientifiques, la concordance la plus élevée observée dans les régions du Pacifique occidental était due au fait que les pays de ces régions utilisent l'anglais comme langue officielle et produisent donc régulièrement des documents gouvernementaux en anglais.
Conformément à cette hypothèse, l’étude a révélé que l’outil GAI correspond exactement aux réponses des experts ou fournit plus d’informations dans 81 % des cas pour 61 pays où les politiques sont rédigées en anglais.
Cependant, pour 133 pays dont les politiques ne sont pas rédigées en anglais, l'outil GAI correspond exactement aux réponses des experts ou fournit plus d'informations dans 63 % % du temps.
Concernant la non-concordance globale entre l'expert et l'outil, l'étude a révélé que l'outil manquait des informations trouvées par l'expert pour 21 % du total des réponses et fournissait des informations erronées par rapport aux informations fournies par l'expert pour 8,8 % du total des réponses. . Pour 2 % du total des réponses, l’outil a fourni des informations que l’expert avait manquées.
Importance de l’étude
L’étude considère le GAI comme un outil utile pour les processus d’assurance qualité et de contrôle qualité dans l’identification des politiques de santé.
Cependant, l’outil doit encore être amélioré pour identifier avec précision les politiques dans diverses régions et langues du monde et interpréter les informations spécifiques au contexte.
Compte tenu des résultats de l'étude, les scientifiques suggèrent que les outils GAI ne devraient pas être utilisés comme principaux examinateurs dans l'identification ou l'interprétation des politiques de santé. Au contraire, ces outils peuvent être utilisés efficacement comme deuxième ou troisième examinateur dans l’identification des politiques de santé.
