Dans une récente étude publiée sur medRxiv* serveur de préimpression, les chercheurs ont démontré à quel point les systèmes de jugement humain pouvaient compléter les modèles informatiques pour répondre à la pandémie de maladie à coronavirus 2019 (COVID-19) en évolution rapide.
Sommaire
Arrière plan
La pandémie de COVID-19 a fait plus de six millions de morts dans le monde et continue de faire des ravages. Malheureusement, bien plus longtemps après la disparition de ses effets épidémiologiques, le fardeau économique et sociétal de cette pandémie continuera d’avoir un impact sur le monde. Les systèmes de surveillance épidémiologique et l’élaboration des politiques se sont considérablement améliorés pendant la pandémie de coronavirus 2 du syndrome respiratoire aigu sévère (SRAS-CoV-2). Pourtant, ils tardaient toujours à anticiper les variantes émergentes du SRAS-CoV-2, la prise de vaccins et les adaptations comportementales, telles que l’utilisation de masques et la prise de vaccins.
Six à 10 ensembles multimodèles et plus de 40 prévisions à court terme ont produit des prévisions et des projections robustes concernant le COVID-19 aux États-Unis (É.-U.). Cependant, il y a place à l’amélioration; par exemple, ces modèles pourraient être adaptés à la volée pour signaler des artefacts dans les données.
Les systèmes de jugement humain sont apparus comme une approche complémentaire robuste à la prévision épidémiologique basée sur des modèles. Une première plate-forme interactive basée sur des systèmes de jugement humain a prédit les trajectoires d’une saison grippale en cours d’une à quatre semaines dans le futur (à court terme). Bien que difficile à mettre à l’échelle et à opérationnaliser, cette méthode s’est avérée parmi les meilleures parmi les autres modèles informatiques. Plus récemment, des systèmes de jugement humain ont été utilisés pour estimer les cas, les décès et l’impact des épidémies de virus monkeypox aux États-Unis, en Europe et au Canada.
À propos de l’étude
Dans la présente étude, les chercheurs ont organisé un tournoi de prise de décision en temps réel en cas de pandémie (RPDM) pour évaluer la plateforme de prévision communautaire Metaculus. Il impliquait six séries de prévisions au cours de la vague Omicron BA.1 aux États-Unis pendant 18 semaines entre novembre 2021 et mars 2022. Notamment, Metaculus a généré un ensemble pondéré (la prédiction Metaculus) en plus des prévisions individuelles.
Bien que l’objectif principal de l’étude ait été de déterminer les performances de la prédiction Metaculus sur diverses questions au cours de la vague Omicron BA.1, l’équipe a également résumé les informations issues de certaines questions clés dans le cadre de l’ensemble indépendant Omicron.
En outre, l’équipe a modifié certaines questions de prévision entre les deux phases de l’étude – la phase de poussée et la phase de déclin. En outre, ils ont obtenu plusieurs horizons de prévision pour chaque variable afin de comparer l’incertitude des prévisions au fil du temps. L’étude actuelle a été entreprise en collaboration avec le Virginia Department of Health.
Résultats de l’étude
L’étude pilote actuelle a démontré que les ensembles de jugement humain pouvaient fournir des signaux précieux pour la prise de décision en temps réel en cas de pandémie pendant les périodes de forte incertitude, comme la montée subite d’Omicron BA.1 aux États-Unis. Comparé à iqrCOV, le Metaculus a légèrement mieux performé pour un horizon de prévision de moins de deux semaines. Metaculus avait également des prédictions comparables à medMAPE sur tout l’horizon de prévision de 28 jours. Alors que ces deux autres mesures sous-estimaient la poussée d’Omicron BA.1, les prédictions de Metaculus avaient des limites d’incertitude plus strictes après le pic. De plus, Metaculus a démontré une couverture de la plage interquartile (IQR) de près de 70 % sur la majeure partie de l’horizon de prévision. En plus des prévisions d’une précision comparable, Metaculus a fourni des mises à jour opportunes à un ensemble varié de questions. De plus, cela a permis des itérations sur les questions avec le décideur dans la boucle, se concentrant ainsi sur les variables d’intérêt au cours des différentes phases de surtension d’Omicron.
Les Centers for Disease and Prevention (CDC) des États-Unis ont estimé la prévalence d’Omicron à 73,2 % pour la semaine du 12 au 18 décembre 2021. Cependant, de nombreux prévisionnistes ont trouvé ces estimations invraisemblables, compte tenu du taux de croissance estimé d’Omicron. Le CDC a ensuite révisé ses estimations, ce qui a montré que la prévalence d’Omicron pour cette semaine était beaucoup plus faible – avec une estimation ponctuelle de 22,5 % en dehors de l’intervalle de confiance de l’estimation précédente. Les prévisionnistes de Metaculus ont également prédit 80 % de chances qu’Omicron soit moins meurtrier que Delta d’ici le 23 décembre 2021.
Les plates-formes comme Metaculus ne fonctionnent pas de manière isolée. Ils nécessitent des tableaux de bord de surveillance des maladies bien organisés, des prévisions de modèles accessibles au public, des discussions actives dans les médias sociaux et d’information et une diffusion rapide des découvertes scientifiques via des prépublications. Ce n’est qu’alors que les participants humains servent d’agrégateurs d’informations efficaces qui peuvent produire des prévisions pour les variables d’intérêt grâce à des modèles mentaux.
conclusion
Les plates-formes basées sur le jugement humain, telles que Metaculus, vont au-delà de la fourniture de prévisions directes et doivent être combinées avec des modèles informatiques pour tirer le meilleur parti de ces ensembles. Puisqu’ils peuvent agréger des informations, des modèles informatiques interactifs et d’autres outils analytiques pourraient les aider à assimiler les connaissances du domaine et à minimiser certains biais cognitifs. Remarquablement, ils pourraient également fournir des estimations du «pouls public» des aspects comportementaux, tels que l’utilisation du masque et la vaccination. Dans l’ensemble, les outils de prévision, tels que Metaculus, pourraient servir d’agrégateurs, de suivis et d’ensembles de ces prévisions pour être utiles aux décideurs.
*Avis important
medRxiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/les comportements liés à la santé, ou traités comme des informations établies.
