Lancement du premier ensemble de données médicales multimodales pour capturer les interactions patient-clinicien

Des chercheurs de l'Université de Pennsylvanie ont lancé Observer, le premier ensemble de données médicales multimodales permettant de capturer les interactions anonymisées et en temps réel entre les patients et les cliniciens. Un peu comme le drame médical Le Pittqui dépeint la vie dans la salle d'urgence, Observer permet aux étrangers de regarder à l'intérieur des cliniques de soins primaires – seulement, dans ce cas, aucune des interactions filmées n'est fictive.

Jusqu'à présent, les données dont disposaient les chercheurs en soins de santé se limitaient aux traces laissées après une visite : des informations qualitatives telles que les notes du clinicien et des mesures quantitatives telles que les signes vitaux des patients. Aucune de ces sources ne prend en compte les subtilités telles que le langage corporel et le ton vocal, ou les facteurs environnementaux, notamment l'utilisation de l'ordinateur, qui affectent la manière dont les prestataires et les patients interagissent les uns avec les autres.

« Une grande partie de ce qui façonne les visites médicales et leurs résultats est invisible pour les chercheurs », déclare Kevin B. Johnson, professeur à l'université David L. Cohen et auteur principal d'un nouvel article décrivant Observer dans le Journal de l'American Medical Informatics Association. « Grâce à la technologie qui anonymise nos enregistrements, permettant ainsi la conformité HIPAA, Observer nous permet de suivre le déroulement des soins. Ce type de preuves n'est pas seulement le fondement de l'amélioration de la pratique clinique, il est crucial pour développer des outils d'IA responsables pour augmenter les soins. »

Déjà, les chercheurs ont accordé des subventions pilotes à d'autres équipes pour commencer à utiliser Observer, dans le but d'élargir l'ensemble de données en une ressource nationale pour améliorer les soins de santé. « Ces premiers projets sont le début d'un volant d'inertie », déclare Johnson. « À mesure que les chercheurs génèrent de nouvelles informations et enregistrements, l'ensemble de données va croître, nous permettant de poser des questions encore plus ambitieuses. »

Pourquoi les données cliniques sont importantes

Depuis des décennies, les chercheurs exploitent les données sur les visites médicales pour étudier comment améliorer les soins de santé. Le Medical Information Mart for Intensive Care, un projet affilié au MIT lancé dans les années 1990, contient désormais des dizaines de milliers de dossiers de visites aux soins intensifs et a été cité dans des milliers d'articles de recherche couvrant des sujets tels que la prise de décision clinique et le fonctionnement des hôpitaux.

Plus récemment, ces données ont également joué un rôle clé dans la formation à l’IA, car elles permettent aux modèles d’IA d’identifier des modèles reliant les diagnostics, les traitements et les résultats au sein de vastes populations de patients. « Nous avons énormément appris de ce qui est consigné dans le dossier médical », déclare Johnson. « Mais si nous voulons comprendre l'expérience complète des soins, nous avons besoin de données qui montrent ce qui se passe dans la pièce. »

Grâce à Observer reliant la vidéo, l'audio et les transcriptions aux données cliniques et aux dossiers de santé électroniques (DSE), les chercheurs peuvent désormais poser de nouvelles questions : quand le rire apparaît lors d'une visite et s'il affecte les résultats ; à quelle fréquence les cliniciens regardent les patients par rapport à leurs écrans d'ordinateur ; comment l'aménagement de la pièce ou la technologie de traçage numérique modifie la communication ; et comment les patients réagissent aux explications des diagnostics.

Ce type de preuves multimodales – combinant des dossiers vidéo, audio et médicaux – crée des opportunités dans de nombreux domaines. En rendant ces données disponibles, nous démocratisons la recherche médicale et ouvrons de nouvelles voies pour améliorer les soins. »

Karen O'Connor, directrice associée du laboratoire d'intelligence artificielle de Johnson pour l'innovation en soins ambulatoires (AI-4-AI)

Garantir la confidentialité des patients

Aux États-Unis, les informations sur la santé des patients sont protégées par la Health Insurance Portability and Accountability Act (HIPAA), qui exige que toutes les données utilisées à des fins de recherche soient dépourvues de détails d'identification.

Pour la vidéo et l’audio, cette norme a toujours été presque impossible à respecter. Jusqu'à récemment, la création d'un ensemble de données de rencontres cliniques réelles aurait nécessité l'examen et le montage manuels de chaque seconde de séquences et de sons, un processus laborieux et sujet aux erreurs.

Entrez MedVidDeID, un outil développé par les chercheurs de Penn pour anonymiser automatiquement les enregistrements vidéo et audio en milieu clinique, qu'ils décrivent dans un article distinct du Journal of Biomedical Informatics. Lors des tests, MedVidDeID a réussi à désidentifier plus de 90 % des images vidéo sans intervention humaine et à réduire le temps total d'examen de plus de 60 %.

Le système en plusieurs étapes extrait les transcriptions, supprime le texte d'identification, nettoie l'audio, transforme les voix et détecte et brouille automatiquement les visages et autres identifiants visuels à l'aide de modèles de vision par ordinateur de pointe. Un examinateur humain effectue le contrôle de qualité final pour garantir la suppression totale des informations de santé protégées.

« Nous avons construit un pipeline modulaire qui automatise la plupart du processus de désidentification audio-vidéo. En gardant un humain au courant, nous sommes en mesure de protéger la vie privée des patients tout en permettant une recherche à grande échelle basée sur la vidéo », déclare Sriharsha Mopidevi, développeur d'applications principal au laboratoire AI-4-AI et co-auteur des deux articles.

Avant de collecter des données, les chercheurs se sont assurés que les patients, leurs familles et les cliniciens avaient la possibilité de s'inscrire et de fournir ultérieurement leurs commentaires sur le processus. En conséquence, l'équipe a déployé plusieurs caméras dans les cliniques participantes : une caméra fixe dans la pièce pour capturer l'ensemble de la visite, une caméra frontale portée par le clinicien pour montrer son point de vue et – lorsque les participants ont accepté – une caméra montée sur le patient pour enregistrer la visite du point de vue du patient.

Orientations futures

La première phase de collecte de données étant terminée et les études pilotes en cours, l’équipe Observer se prépare à élargir l’ensemble de données et à le mettre à la disposition d’une communauté de recherche plus large. L'équipe prévoit d'adopter un modèle d'accès similaire à celui utilisé par MIMIC, permettant aux enquêteurs qualifiés de demander l'autorisation d'utiliser les enregistrements multimodaux pour leurs propres études.

« Il s'agit en fin de compte de changer le système de santé », déclare Johnson. « Vous ne pouvez pas améliorer les soins ou créer une IA clinique significative sans comprendre la rencontre elle-même. Lorsque vous pouvez voir ce qui se passe au cours de centaines ou de milliers de visites, la transformation devient possible.