Dans une étude récente publiée dans Réseau JAMA ouvert, les chercheurs ont comparé et déterminé la concordance entre la conception de l’étude, les résultats et les inférences des études cliniques et observationnelles et des méta-analyses qui ont d’abord été publiées sous forme de prépublications medRxiv et ont ensuite été évaluées par des pairs et publiées dans des revues.
Sommaire
Arrière plan
Les prépublications publiées sur des serveurs tels que medRxiv peuvent être une épée à double tranchant. Bien que l’accès à des résultats de recherche clinique non évalués par des pairs puisse entraîner la diffusion rapide d’informations et permettre l’évaluation de l’étude par la communauté scientifique dans son ensemble, le libre accès à ces résultats sans examen par des pairs pourrait également propager des interprétations erronées, des résultats erronés et des méthodes de recherche défaillantes pouvant avoir des conséquences sur les pratiques de santé.
Les quelques études qui ont comparé la conception de l’étude, les résultats et les principales inférences entre les prépublications et leurs versions publiées par la suite se sont largement concentrées sur les prépublications publiées dans des revues à comité de lecture avec des facteurs d’impact élevés (supérieurs à 10). On peut en déduire que les prépublications qui finissent par être publiées dans des revues à facteurs d’impact élevés sont déjà de haute qualité et ne nécessitent pas de modifications majeures après examen par les pairs.
Pour déterminer la fiabilité des résultats d’études cliniques publiés dans les prépublications, il est important de comparer les prépublications et leurs versions ultérieures publiées dans des revues à comité de lecture indépendamment du facteur d’impact.
À propos de l’étude
Dans la présente étude, les chercheurs ont utilisé l’interface de programmation d’application du serveur de préimpression medRxiv pour obtenir tous les manuscrits soumis pour la première fois au serveur en septembre 2020. Pour les préimpressions mises à jour avec une version plus récente après septembre 2020, les versions les plus récentes ont été obtenues.
La conception de l’étude de chaque prépublication a été caractérisée manuellement dans l’une des nombreuses catégories, y compris la méta-analyse avec ou sans revue systématique, les études cliniques, observationnelles, de modélisation ou autres. Les prépublications ont ensuite été appariées avec leurs publications correspondantes dans des revues à comité de lecture.
Pour s’assurer que les modifications apportées aux versions mises à jour de la prépublication ne résultaient pas du processus d’examen par les pairs, les versions mises à jour publiées après la date d’acceptation de la revue ont été exclues. Le délai entre la date d’affichage dans medRxiv et la date de publication électronique a également été déterminé. Le facteur d’impact des revues a été obtenu à partir des InCites Journal Citation Reports.
Pour chaque paire d’articles préimprimés-journaux, les informations sur la taille de l’échantillon, les principaux résultats mesurés, les résultats pour chaque résultat et les inférences tirées des résultats ont été comparées. La taille de l’échantillon pour les études cliniques et observationnelles a été définie comme le nombre de participants dans les cohortes ou la base de données, tandis que pour les méta-analyses, la taille des échantillons était basée sur le nombre d’études incluses dans l’analyse. Les principaux critères d’évaluation comprenaient le temps de détermination et l’échelle de mesure, qui comprenait des facteurs tels que les taux de mortalité, l’odd ratio, etc.
La concordance dans la taille de l’échantillon a été déterminée sur la base de la similarité numérique, tandis que la concordance dans les critères de jugement principaux ou les critères d’évaluation a été conclue si la publication ne faisait état d’aucun résultat principal supplémentaire. Les discordances dans la taille de l’échantillon et les principaux critères d’évaluation ont été étudiées plus avant pour déterminer le type et les raisons de la discordance. Les interprétations ont été conclues comme étant concordantes si des déclarations similaires étaient faites sur les résultats dans la prépublication et la publication.
Résultats
Les résultats ont rapporté qu’en septembre 2022, 1077 des 1399 prépublications publiées sur medRxiv en septembre 2020 avaient été publiées dans des revues à comité de lecture. Parmi ceux-ci, 547 décrivaient des méta-analyses, des essais cliniques ou des études observationnelles, et 53,6 % (293) d’entre eux étaient liés à la maladie à coronavirus 2019 (COVID-19). Les paires d’articles préimprimés et d’articles de revues qui ont signalé des tailles d’échantillon étaient de 535, dont 86,4 % (462) étaient concordants, et 43 des 73 paires discordantes ont signalé une taille d’échantillon plus grande dans la publication.
Sur les 547 paires, 97,6 % (534) étaient concordants dans leurs rapports sur les critères d’évaluation principaux, et seulement 2,4 % étaient discordants. Pour les paires avec des résultats numériques, 81,1 % (434 sur 535) étaient concordants, tandis que 101 avaient des résultats discordants pour les critères de jugement principaux. Sur ces 101, les estimations de l’effet de 65,3 % (66) étaient statistiquement similaires. Les interprétations des résultats étaient concordantes pour 96,2 % (526) des 547 paires.
conclusion
Dans l’ensemble, les résultats suggèrent que malgré l’absence d’examen par les pairs dans les prépublications publiées sur des serveurs tels que medRxiv, la conception de l’étude, les résultats primaires mesurés, les résultats et les inférences tirées des résultats étaient cohérents entre les prépublications et leurs versions ultérieures révisées par des pairs et publiées. .
Plus des trois quarts des paires de prépublications et d’articles de revues étaient concordantes dans des caractéristiques telles que les principaux résultats, les résultats et les interprétations. De plus, les paires discordantes dans les résultats étaient toujours similaires dans leurs interprétations.
