Dans une étude récente publiée sur le arXiv preprint*, une grande équipe d'ingénieurs et de chercheurs de Google a présenté un système d'agent à grand modèle de langage (LLM) appelé Personal Health Insights Agent ou PHIA qui peut utiliser des outils de récupération d'informations et des méthodes avancées de génération de code pour analyser et déduire les données sur la santé comportementale acquises. des trackers de santé portables.
Un aperçu de l’agent Personal Health Insights (PHIA). (A) – (C) : Exemples de requêtes objectives et ouvertes sur les informations sur la santé ainsi que sur les données synthétiques des utilisateurs portables, qui ont été utilisées pour évaluer les capacités de PHIA à raisonner et à comprendre les informations sur la santé. (D) : Un cadre et un flux de travail qui démontrent comment la PHIA raisonne de manière itérative et interactive à travers des requêtes d'informations sur la santé à l'aide de techniques de génération de code et de recherche sur le Web. (E) : Un exemple de bout en bout de la réponse de PHIA à une requête d'utilisateur, présentant l'application pratique et l'efficacité de l'agent. Transformer les données portables en informations sur la santé à l'aide d'agents à grand modèle de langage
*Avis important: arXiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
Sommaire
Arrière-plan
Les progrès de la technologie portable de suivi de la santé ont permis de recueillir des données longitudinales, continues et multidimensionnelles sur le comportement et la physiologie en dehors du cadre clinique. Des études surveillant les habitudes de sommeil et les niveaux d’activité physique ont en outre souligné l’importance des données dérivées des appareils portables pour recueillir des informations personnalisées sur la santé et utiliser cette compréhension pour promouvoir des comportements positifs afin de réduire le risque de maladies.
Cependant, malgré l'abondance de données portables, le manque de supervision clinique lors de la collecte des données et l'incapacité des utilisateurs à demander l'aide d'experts pour interpréter ces données ont limité leur capacité à obtenir des informations personnalisées pouvant être converties en un bien-être approprié. régimes.
Des études récentes sur les modèles d'apprentissage automatique ont montré que les LLM ont fait preuve de précision et d'efficacité dans des tâches telles que la formation médicale, la réponse aux questions, les interventions en santé mentale et l'analyse des dossiers de santé électroniques. Une combinaison de ces LLM avec d'autres outils logiciels peut être utilisée pour développer des agents basés sur LLM qui peuvent interagir de manière dynamique avec le monde et obtenir des informations à partir des données de santé personnelles des appareils portables.
À propos de l'étude
Dans la présente étude, les chercheurs ont décrit le Personal Health Insights Agent (PHIA), le premier agent basé sur LLM pour interpréter et dériver des informations à partir de données de santé personnelles obtenues à partir de trackers de santé portables.
PHIA utilise le cadre d'agent ReAct, qui peut exécuter des fonctions de manière autonome et intégrer des observations sur ces fonctions autonomes dans la prise de décision. Grâce à des méthodes avancées de génération de code, une recherche Web intégrée et le cadre d'agent ReAct, PHIA est conçu pour aider à répondre à de nombreuses questions du monde réel sur la santé.
L'étude a également mené une évaluation humaine fastidieuse impliquant 19 annotateurs humains de plus de 6 000 réponses modèles et une évaluation automatique de deux fois le nombre de réponses modèles pour montrer que l'agent basé sur LLM présentait un raisonnement supérieur sur les données longitudinales de santé comportementale. Ils ont également montré que PHIA pouvait fournir des informations approfondies sur les interprétations de la santé et ont comparé ses performances à celles des outils de raisonnement numérique uniquement textuels et des outils non-agents basés sur LLM.
Comparaison de base. Exemples de réponses de deux approches de base (raisonnement numérique et génération de code) ainsi qu'une réponse de la PHIA. PHIA est capable de rechercher des connaissances pertinentes, de générer du code et d'effectuer un raisonnement itératif afin d'obtenir une réponse précise et complète.
Deux modèles de langage de base, la génération de code et le raisonnement numérique, ont été utilisés pour comparer et évaluer les performances de PHIA. Pour évaluer la capacité de PHIA à raisonner de manière ouverte, l'étude a inclus 12 annotateurs humains indépendants expérimentés dans l'analyse de données portables sur la condition physique et les habitudes de sommeil. Les annotateurs ont évalué la qualité du raisonnement fourni par PHIA sur les requêtes ouvertes.
Ils ont également été chargés de déterminer si les réponses du modèle utilisaient des données pertinentes, interprétaient la question avec précision, intégraient les connaissances du domaine, utilisaient une logique correcte, excluaient les contenus préjudiciables et fournissaient une communication claire sur des informations personnalisées.
Résultats
Les résultats ont montré que la PHIA a démontré des capacités itératives et la capacité d’utiliser de manière interactive des outils de raisonnement et de planification pour analyser les données personnelles sur la santé et fournir des interprétations. Par rapport aux deux références, la génération de code et le raisonnement numérique, les performances de PHIA en matière de fourniture d'informations objectives sur les requêtes de santé personnelle étaient respectivement 14 % et 290 % supérieures.
De plus, pour les requêtes ouvertes et complexes, les annotateurs humains experts ont signalé que la PHIA fonctionnait nettement mieux que les lignes de base en matière de raisonnement sur la santé et d'analyse interactive des données de santé. Compte tenu de la capacité de PHIA à fonctionner de manière entièrement automatisée sans supervision, cet agent basé sur LLM peut analyser les données de santé personnelles des appareils portables avec seulement une planification avancée, des interactions avec la recherche sur le Web et des options de raisonnement itératif.
L'évaluation humaine et automatique a également révélé que PHIA était capable de fournir des réponses précises à plus de 84 % des requêtes numériques factuelles et à plus de 83 % des questions ouvertes issues du crowdsourcing. L'étude a montré que cet agent basé sur le LLM pourrait potentiellement aider les individus à interpréter les données de santé personnelles de leurs appareils portables et à utiliser ces informations pour développer des régimes de santé personnalisés.
Conclusions
Pour résumer, l'étude a montré que l'agent PHIA basé sur LLM a obtenu de meilleurs résultats que les références établies dans l'utilisation d'outils et de raisonnement itératif pour analyser les données de santé personnelles des appareils portables et fournir des réponses précises aux requêtes numériques factuelles et aux questions ouvertes. Avec l’intégration de modèles LLM avancés et de connaissances issues des domaines médicaux, les chercheurs pensent que les applications des agents basés sur LLM dans le domaine de la santé personnelle peuvent se développer considérablement.
Aujourd'hui, sur le blog, découvrez les dernières nouvelles de nos deux nouveaux articles de recherche sur la façon dont l'IA, en particulier les modèles Gemini affinés, peut créer des expériences de santé personnalisées qui répondent aux parcours de santé uniques des individus. →https://t.co/GT3XP4senD #IA #soins de santé #santépersonnalisée pic.twitter.com/L2OybQd4QL
– Google IA (@GoogleAI) 12 juin 2024
*Avis important: arXiv publie des rapports scientifiques préliminaires qui ne sont pas évalués par des pairs et, par conséquent, ne doivent pas être considérés comme concluants, guider la pratique clinique/le comportement lié à la santé, ni être traités comme des informations établies.
