Hier sur Twitter, plusieurs cliniciens-chercheurs m'ont exhorté à me prononcer sur l'introduction par le New York Times d'un nouveau suivi des médicaments et des traitements contre le coronavirus. Ils en étaient troublés.
J'étais aussi quand je l'ai vu. Mais je n’ai pas eu le temps d’aborder la question hier et – plus de 24 heures plus tard – je n’ai toujours pas le temps de faire autre chose que de publier les critiques formulées par d’autres observateurs intelligents. (Pour toute personne qui n'a pas lu la bannière en haut de cette page ou de l'une des pages de ce site Web, je ne peux garder les lumières allumées qu'avec des articles de blog occasionnels comme celui-ci. Mais quand tant de voix fortes se lèvent, elles dans ce cas, ils assument une partie du rôle de ce que HealthNewsReview.org a fait pendant tant d'années.)
Tout d'abord, permettez-moi de souligner que si vous êtes allé au Tracker hier, vous avez vu ceci: 20 traitements classés dans 6 catégories.
Mais si vous êtes allé sur le même lien aujourd'hui, vous avez vu 19 traitements classés maintenant dans 5 catégories et les chiffres ont changé dans ces catégories.
Il y a une ligne dans le texte qui traite des changements: « Nous mettrons à jour et élargirons la liste à mesure que de nouvelles preuves émergeront. » Mais changer les catégories et les nombres au sein de ces catégories du jour au lendemain semble être un changement assez dramatique dans les preuves – ou dans la prise de décision éditoriale – en quelques heures seulement.
Ce tracker était-il prêt pour les heures de grande écoute? Certains critiques pensaient que non.
En réponse à un Tweep qui a écrit: « C'est fantastique! », Zackary Berger, MD, de Johns Hopkins a tweeté:
Je ne pense pas que cela clarifie les choses. Premièrement, si les résultats sont parfois mentionnés, ils ne le sont pas toujours. (Traitement * comment *? Réduire quoi?) Les traitements disparates sont regroupés.
J'apprécierais quand j'ai vu l'auteur pour des preuves solides: des ECR ou… une utilisation généralisée par les médecins. Il existe de nombreux types de preuves. Un ECR n’a pas été le seul étalon-or depuis un certain temps en épidémiologie clinique. Deuxièmement, les médecins ne suivent pas les meilleures preuves.
A noter que la catégorie «Strong Evidence» a disparu vendredi, avec «Largement utilisé» à sa place. Notez également que la catégorie « Preuves mixtes » d'hier s'est transformée en une catégorie « Preuves provisoires ou mixtes » et que la catégorie « Pseudoscience » s'est élargie à « Pseudoscience ou fraude ». Et la catégorie «Inefficace» de jeudi a disparu. Aucun traitement inefficace n’a été répertorié de toute façon.
Venk Murthy, MD, de l'Université du Michigan, a tweeté questions sur les évaluations «Strong Evidence» pour 5 thérapies dont le remdesivir et la dexaméthasone. Il a continué:
Je suis également préoccupé par les vraies différences entre prometteur et provisoire. Lorsque les principales sociétés médicales estiment qu'il est difficile de classer les preuves en plus de 3 catégories (par exemple, A, B, C dans les directives de cardiologie), je suis impressionné par le fait que le NYT puisse résoudre 6 catégories.
Mike Johansen, MD de l'État de l'Ohio a tweeté:
Cela doit être rétracté dès que possible: c'est ridicule…. Je suis franchement consterné, même pour les temps COVID.
Puis Dr. Murthy est rentré dans le fil du tweet:
N’est-ce pas la conclusion logique de tous les encouragements du journalisme de données? Si les journalistes * sans expertise approfondie du domaine * sont encouragés à faire des visualisations, alors pourquoi ne devraient-ils pas synthétiser les données des études cliniques et créer des directives pratiques?
L'électrophysiologiste cardiaque John Mandrola, MD est intervenu:
Nous devons répandre le blâme: la cause en amont en est la publication d'études erronées. Peut-être attendons-nous trop des journalistes? Ils pourraient dire: «c'est une grande étude dans un grand journal, dans ce cas avec un podcast de soutien du (rédacteur en chef).
Dr Murthy a répondu:
Il y a beaucoup de blâme à faire, mais je ne me souviens pas d'un autre cas où un journal a mené une revue pseudo-systématique d'un sujet médical basé sur sa propre évaluation des preuves….
Le cardiologue Ritu Thamman, MD, a écrit:
Les directives de cardiologie publient le «niveau de preuve» à côté des recommandations, et des heures de débat et de discussion y sont consacrées en raison des nuances qui ont des implications sociétales majeures; ce @New York Times l'article est plus festif que l'analyse scientifique: ajoute à la fracture des données
Victor Montori, MD, de la Mayo Clinic, a tweeté:
Et s'ils veulent évaluer les preuves, pourquoi ne pas utiliser une approche méthodologiquement solide comme GRADE (gradeworkinggroup.org). Il y a des décennies, nous avons laissé des évaluations basées uniquement sur la conception de l'étude.
Aujourd'hui, Dr Murthy et autres attrapé les changements du jour au lendemain, mais n'étaient toujours pas satisfaits:
Les journalistes du NYT bricoler quelque chose du jour au lendemain sans processus ni expertise est carrément dangereux et semble de l'extérieur être arrogant.
Synthétiser des études comme celle-ci est un travail très difficile. Il faut beaucoup de temps et d'études pour acquérir l'expertise requise. Même dans ce cas, les experts ne sont pas d'accord et nous avons donc souvent de nombreux experts qui travaillent avec des méthodes spéciales pour établir un consensus et évaluer les preuves.
Le fait qu'il y ait eu de tels changements massifs dans les 24 premières heures montre à quel point cela a été mal pensé. Plutôt que de mettre à jour, cela aurait dû être supprimé avec un grave culpa moyen.
Mes pensées rapides
Le New York Times a livré un journalisme formidable la plupart des jours de cette pandémie. Carl Zimmer, l'un des trois journalistes avec des signatures sur ce Tracker, est l'un des meilleurs journalistes scientifiques de notre époque.
C'était un effort créatif, mais déroutant pour de nombreux observateurs. Il semble que le Times travaille sur les bogues au fur et à mesure qu'ils disparaissent – ce qui est la façon dont une grande partie du journalisme, de la science et de la médecine travaillent – sur un redressement rapide – dans cette pandémie.
Mais parfois, comme Richard Saitz et moi avons écrit pour JAMA cette semaine,
La confiance dans la science, la médecine, les relations publiques et le journalisme peut être menacée à l'intersection où ces professions se rencontrent.
Le temps – même quelques instants par jour – peut aider à prévenir les dommages. Tout professionnel qui communique au sujet de cette pandémie devrait consacrer autant de temps à réfléchir à l'importance des mots et des données, puis agir en conséquence.
Je continuerai à suivre le développement et les réactions de ce Tracker.
Addendum quelques heures après la publication d'origine:
D'autres points de vue d'experts ont été publiés sur Twitter.
Cardiologue Sanjay Kaul, MD de Cedars-Sinai à Los Angeles tweeté:
L'évaluation des preuves semble bien ancrée. Oui, ils ont mal classé la force probante de l'énoxaparine / AC, mais il en va de même pour les revues et les directives. Mais dans l'ensemble, un effort décent. Dans tous les cas, nous ne devrions pas prendre de conseils médicaux dans les journaux, y compris le NYT. … C'est bien de voir que NYT est corrigible!
Le cardiologue de l'UCLA Gregg Fonarow, MD, a écrit:
Je donne le @New York Times beaucoup de mérite pour avoir cherché à aider leur lectorat à trier les traitements COVID-19; quelles thérapies sont efficaces, lesquelles ne le sont pas et qui nécessitent une étude plus approfondie. Il y a quelques corrections nécessaires, mais globalement utiles.
Et le néphrologue de l’Université d’Ottawa, Swapnil Hiremath, MD, après quelques critiques acharnées dont «c’est surtout idiot», a écrit plus tard:
D'accord alors @Carlzimmer tendu la main et après quelques e-mails et une conversation téléphonique, je vois que RRT a été supprimé et Cytosorb rétrogradé. Pas encore parfait mais un pas dans la bonne direction
