Un vaste nouvel ensemble de données médicales aide les modèles d'IA à répondre à des questions de santé complexes avec une plus grande précision, en apportant des médecins et des chercheurs un peu plus près de l'IA clinique basée sur des preuves dignes de confiance.
Étude: Miriad: augmentation des LLM avec des millions de paires de questions-réponse médicale. Crédit d'image: meeboonstudio / shutterstock.com
* Avis important: arxiv Publie des rapports scientifiques préliminaires qui ne sont pas évalués par les pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique / comportement lié à la santé, ou traités comme des informations établies.
Une étude récente publiée sur le serveur de préparation Arxiv a cherché à relever les défis des modèles de grande langue (LLM) existants en introduisant un nouvel ensemble de données appelé Miriad, qui prend en charge des millions de paires de questions-réponse médicale.
Sommaire
Évolution des modèles de grandes langues pour le domaine des soins de santé
Bien que les LLM aient bien fonctionné dans diverses tâches de traitement du langage naturel, telles que la traduction et la réponse aux questions, elles manquent souvent d'exactitude factuelle et des dernières informations. Cette limitation a un impact significatif sur le secteur des soins de santé, où la précision factuelle est cruciale.
L'approche de génération augmentée (RAG) de récupération a été développée pour surmonter la limitation ci-dessus, qui ne nécessite pas de réglage fin de LLMS coûteux. Initialement, les systèmes de récupération développés étaient basés sur des bases de données vectorielles standard. Bien que la réalisation de performances de récupération élevées en utilisant des modèles précédents ait été difficile, des modèles de récupération générale récemment avancés, tels que E5, Colbert ou Jina-Colbert-V2, ont présenté des performances importantes en raison de grands ensembles de données de formation. En règle générale, les ensembles de données comprennent des échantillons appariés de requêtes et de documents, c'est-à-dire un format de réponse aux questions.
Actuellement, le domaine médical n'a pas de jeux de données de récupération à grande échelle, de haute qualité et ouvertement accessibles, qui pourraient être exploités par ailleurs pour développer des systèmes de récupération optimisés pour des informations médicales. Les ensembles de données de réponses médicaux actuellement disponibles (QA), tels que MeDMCQA, PubMedqa ou MedQA, ont de nombreuses limites. Par exemple, PubMedqa se concentre sur des sections d'articles spécifiques et n'offre pas de réponses en forme libre, tandis que MeDQA contient des questions à choix multiples (MCQ). Les ensembles de données QA existants sont sensiblement petits, allant entre des milliers et des centaines de milliers d'échantillons.
Qu'est-ce que Miriad?
MiRiad représente un ensemble de données à grande échelle comprenant des instructions médicales et des réponses qui ont été générées de manière semi-synthétique à l'aide de LLMS. Chaque paire de réponses aux questions est fondée sur la littérature médicale évaluée par des pairs.
Contrairement aux ressources précédentes, Miriad est un ensemble de données plutôt qu'un nouveau modèle. Cet ensemble de données fournit des informations précises, surmontant les limites des LLM antérieures.
Contrairement aux LLMS conventionnels, Miriad fournit un lien source vers chaque paire de réponses à des questions. Miriad propose des informations médicales et biomédicales complètes, couvrant 56 sujets médicaux et disciplines.
Développement de données de données Miriad et évaluation de la qualité
L'ensemble de données Miriad a été développé à partir d'une collection à grande échelle de requêtes et de réponses médicales. Initialement, 894 352 documents médicaux ont été utilisés pour le traitement LLM, avec une option pour augmenter l'ensemble de données à l'avenir.
Chaque article a été divisé en passages, que le modèle de langage GPT-3.5-turbo traité en fonction des invites standard pour générer des paires de QA autonomes. Toutes les questions médicales ont été associées à des réponses liées à un passage source. Plus de 10 millions de paires QA brutes ont été initialement générées, jetant les bases de l'ensemble de données Miriad.
De multiples étapes de contrôle de la qualité, telles que le filtrage basé sur des règles, les annotations d'experts humains et le filtrage basé sur LLM, ont été effectuées pour assurer un ensemble de données de haute qualité. Par exemple, un filtre basé sur des règles a éliminé les paires d'AQ qui reposaient sur des références méta-linguistiques au passage source. Cette stratégie a supprimé environ 5 millions de paires d'AQ non satisfaisantes. L'annotation basée sur LLM a aidé à maintenir les données factuelles et pertinentes du domaine. Pour évaluer l'accord entre l'annotation basée sur LLM et l'humanité, cinq experts médicaux ont examiné un sous-ensemble de 56 passages et 168 paires d'AQ.
Alors que les experts humains ont été impliqués dans la validation, la majeure partie du contrôle de la qualité a été effectuée en utilisant un filtrage automatisé basé sur LLM en raison de l'échelle de l'ensemble de données. Ce processus de génération semi-synthétique, bien que vaste, peut encore entraîner des inexactitudes résiduelles. Les auteurs reconnaissent que Miriad représente un tremplin significatif dans la conservation des connaissances médicales pour les applications d'IA plutôt qu'un critère d'évaluation entièrement complet.
Miriad a été lancé en deux versions: Miriad-5.8m et Miriad-4.4m. Après le filtrage basé sur des règles, Miriad-5.8m est formé avec 5 821 948 échantillons, tandis que Miriad-4.4 M est formé avec 4 487 542 échantillons après toute la séquence des étapes de contrôle de la qualité. Une approche de reformulation de la littérature a permis aux paires d'AQ qui en résultent dans la littérature médicale évaluée par les pairs.
Interactive Miriad Atlas et autres résultats expérimentaux
Miriad-Atlas, une interface utilisateur interactive hébergée par le Web, permet aux utilisateurs de naviguer et d'explorer des informations approfondies. Les utilisateurs peuvent se renseigner sur des conditions rares, telles que la maladie de Creutzfeldt-Jakob, en localisant simplement les informations pertinentes dans le paysage des connaissances médicales. L'aspect interactif a transformé Miriad d'un atout statique à un outil exploratoire pour les chercheurs ou les médecins. Chaque paire de réponses à requête est cartographiée visuellement et les utilisateurs peuvent retrouver la source d'origine de vérification et de lecture plus approfondie.
La présente étude a comparé trois conditions expérimentales: la récupération en utilisant les paires de QA de Miriad (Rag-Miriad), la récupération à partir de passages bruts (passage de chiffon) et une ligne de base sans augmentation de récupération (sans Ragr), où le LLM répond directement à la question.
Les données expérimentales ont révélé que Miriad peut être directement utilisé comme source supplémentaire de connaissances pour améliorer les performances des chiffons médicaux dans les LLM jusqu'à 6,7% par rapport au texte non structuré de la même source dans certaines tâches de référence. Cependant, la taille de l'amélioration variait en fonction du choix du modèle de langue et de la méthode d'intégration, avec les gains les plus évidents observés dans les modèles open source avec des connaissances médicales intégrées limitées.
Les données expérimentales ont également indiqué que Miriad pourrait être utilisé directement pour former des modèles de recherche d'informations médicales, améliorant davantage la qualité de récupération. En outre, Miriad a amélioré le potentiel des LLM pour déterminer les hallucinations médicales de 22,5 à 37% (score de mesure F1), avec les améliorations les plus importantes observées dans les sous-ensembles annotés par l'homme.
Il est important de noter que si ces améliorations sont prometteuses, elles sont spécifiques aux configurations expérimentales et à des ensembles de données utilisés dans l'étude. Il est averti que les performances peuvent varier avec d'autres tâches, modèles ou configurations de récupération.
Conclusions
Miriad permet aux chercheurs et aux médecins d'obtenir des informations complètes et précises en permettant aux utilisateurs d'explorer, de rechercher et d'affiner visuellement des informations médicales à partir de millions de requêtes et de réponses organisées par sujet et discipline.
Sur la base des résultats de la recherche, les scientifiques sont optimistes que Miriad permettra aux chercheurs, aux soignants et aux patients en leur fournissant des systèmes de recherche médicale avancés, des applications de chiffon améliorées et des interfaces cliniques cliniques fondées sur les connaissances.
Des travaux en cours sont encore nécessaires pour élargir la couverture médicale, affiner la génération de l'AQ et réduire continuellement les inexactitudes potentielles.
Téléchargez votre copie PDF maintenant!
* Avis important: arxiv Publie des rapports scientifiques préliminaires qui ne sont pas évalués par les pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique / comportement lié à la santé, ou traités comme des informations établies.
