Découvrez comment BiomedParse redéfinit l'analyse d'images biomédicales, en s'attaquant aux formes complexes et en atteignant de nouveaux sommets en matière de précision et d'efficacité à travers neuf modalités d'imagerie !
Étude : Un modèle de base pour la segmentation, la détection et la reconnaissance conjointes d’objets biomédicaux selon neuf modalités. Crédit image : Recherche Microsoft
Dans une étude récente publiée dans la revue Méthodes naturellesdes chercheurs de Microsoft Research, Providence Genomics, Earle A. Chiles Research Institute, Providence Cancer Institute et de la Paul G. Allen School of Computer Science and Engineering de l'Université de Washington ont développé « BiomedParse », un modèle de base biomédical révolutionnaire pour l'analyse d'images qui peut effectuer conjointement la segmentation d’images, la détection d’objets et la reconnaissance d’objets dans neuf modalités d’imagerie majeures. Ils ont constaté que BiomedParse surpassait les méthodes existantes, en particulier sur les objets de forme irrégulière, et permettait de nouvelles fonctionnalités telles que la segmentation et l'étiquetage de tous les objets d'une image à l'aide de descriptions textuelles.
Sommaire
Arrière-plan
L'analyse d'images biomédicales est essentielle pour comprendre la physiologie et l'anatomie à plusieurs échelles, mais les approches traditionnelles gèrent séparément la segmentation d'images (divisant l'image pour séparer l'arrière-plan de l'objet) et la détection et la reconnaissance d'objets (identifiant les objets et leur emplacement dans une image). Cette méthodologie décousue peut conduire à des opportunités manquées d’apprentissage conjoint entre les tâches, limitant ainsi l’efficacité et la précision.
La segmentation nécessite souvent des cadres de délimitation dessinés par l'utilisateur pour localiser les objets, ce qui présente trois défis clés. Premièrement, cela nécessite une expertise du domaine pour identifier les objets avec précision. Deuxièmement, les cadres de délimitation rectangulaires représentent mal les objets aux formes irrégulières ou complexes. Troisièmement, ces méthodes ne sont pas évolutives pour les images contenant de nombreux objets, telles que les cellules dans les images pathologiques de lames entières, où le contour manuel de chaque objet n'est pas pratique. De plus, en se concentrant uniquement sur la segmentation, les méthodes traditionnelles négligent les informations sémantiques des tâches associées, telles que les types d'objets ou les métadonnées, réduisant encore davantage la qualité de la segmentation. Par conséquent, dans la présente étude, les chercheurs ont développé BiomedParse, un modèle biomédical unifié qui intègre la segmentation d’images, la détection d’objets et la reconnaissance sans s’appuyer sur des cadres de délimitation pour surmonter les défis des méthodes conventionnelles d’analyse d’images.
À propos de l'étude
Pour créer un modèle capable de segmentation, de détection et de reconnaissance conjointes, les chercheurs ont développé une ressource à grande échelle appelée BiomedParseData, qui combine 45 ensembles de données de segmentation biomédicale. Les informations sémantiques de ces ensembles de données, souvent bruyantes et incohérentes, ont été harmonisées dans une ontologie d'objets biomédicaux unifiée à l'aide de GPT-4 et de processus d'examen manuel. Cette ontologie comprenait trois catégories (histologie, organe et anomalie), 15 types de méta-objets et 82 types d'objets spécifiques. Pour prendre en charge la formation, GPT-4 a été utilisé pour générer des descriptions synonymes pour les étiquettes sémantiques, élargissant ainsi l'ensemble de données à 6,8 millions de triplets image-masque-description.
BiomedParse utilise une conception modulaire basée sur l'architecture SEEM (Segment Everything Everywhere All at Once). Il comprend un encodeur d'image, un encodeur de texte, un décodeur de masque et un classificateur de méta-objets pour une formation conjointe avec des informations sémantiques. Le système fonctionne sans cadre de délimitation, contrairement aux méthodes de pointe comme MedSAM. Au lieu de cela, BiomedParse utilise des invites textuelles pour la segmentation et la reconnaissance, permettant une évolutivité plus large. Les mesures d'évaluation comprenaient les scores de Dice pour la précision de la segmentation et les scores de silhouette pour la qualité d'intégration. Des tests ont également été utilisés pour mesurer la capacité de BiomedParse à détecter des invites de texte invalides à l'aide de méthodes statistiques, notamment le test de Kolmogorov-Smirnov. Les performances du système ont été validées dans neuf modalités d'imagerie, notamment la pathologie, la tomodensitométrie (TDM), l'imagerie par résonance magnétique (IRM), l'échographie, les rayons X, la microscopie à fluorescence, la microscopie électronique, la microscopie à contraste de phase et la microscopie à fond clair. Les résultats ont été comparés à ceux d’autres modèles de segmentation, tels que le Segment Anything Model (SAM) et le Medical SAM (MedSAM).
Résultats et discussion
BiomedParse s'est avéré obtenir des résultats de pointe dans les tâches de segmentation d'images, de détection d'objets et de reconnaissance. Sur un ensemble de tests de 102 855 instances couvrant neuf modalités, BiomedParse a obtenu les meilleurs scores Dice, surpassant MedSAM même lorsque MedSAM disposait de cadres de délimitation Oracle. Lorsqu'elle a été testée sur des scénarios plus réalistes avec des cadres de délimitation générés par Grounding DINO, la supériorité de BiomedParse est devenue encore plus évidente, en particulier pour des modalités difficiles comme la pathologie et la tomodensitométrie.
BiomedParse a montré des avantages significatifs dans la segmentation des objets de forme irrégulière, ce avec quoi les méthodes traditionnelles basées sur des boîtes englobantes avaient du mal. En utilisant des invites textuelles telles que « structure glandulaire dans la pathologie du côlon », BiomedParse a atteint un score médian aux dés de 0,942, contre moins de 0,75 pour SAM et MedSAM sans cadres de délimitation. L'amélioration est fortement corrélée à l'irrégularité des objets, mettant en évidence la capacité de BiomedParse à gérer des formes complexes. Par exemple, BiomedParse a obtenu un score Dice 39,6 % plus élevé que la méthode la plus concurrente sur les objets irréguliers.
Pour la reconnaissance d'objets, BiomedParse a identifié et étiqueté tous les objets d'une image sans invites fournies par l'utilisateur. Par rapport à Grounding DINO, BiomedParse a obtenu des scores de précision, de rappel et de F1 plus élevés. Ses performances s'amélioraient encore à mesure que le nombre d'objets dans une image augmentait. La validation dans le monde réel a montré que BiomedParse a annoté avec succès les cellules immunitaires et cancéreuses dans des diapositives de pathologie, correspondant étroitement aux annotations des pathologistes. Alors que les pathologistes humains peuvent fournir des annotations grossières, BiomedParse propose un étiquetage précis et complet, suggérant son potentiel pour réduire la charge de travail des cliniciens dans les applications cliniques.
Les limites de BiomedParse incluent la nécessité d'un post-traitement pour différencier les instances d'objets individuelles, le manque de capacités conversationnelles et la réduction des modalités tridimensionnelles (3D) en tranches d'image bidimensionnelles, manquant potentiellement d'informations spatio-temporelles.
Conclusion
En conclusion, BiomedParse pourrait surpasser les précédentes méthodes d’analyse d’images biomédicales dans les principales modalités d’imagerie et s’est révélé plus évolutif et plus précis, en particulier dans la reconnaissance et la segmentation d’objets complexes. L’outil ouvre de nouvelles voies pour la découverte automatisée à haut débit basée sur l’analyse d’images biomédicales, réduisant ainsi les interventions manuelles et potentiellement accélérant la recherche. Les efforts futurs pourraient se concentrer sur l’extension de BiomedParse aux données tridimensionnelles et sur l’activation de capacités interactives et conversationnelles pour des applications plus personnalisées.
Validation externe de la fondation BiomedParse #IA modélisez sur 9 types d'images médicales, identifiant automatiquement tous les objets à la fois et économisant des heures de travail manuel, réduisant ainsi les erreurshttps://t.co/xCv910TbOB@NatureMethods
« Les implications de BiomedParse sont profondes » https://t.co/oyb7ldAUAY pic.twitter.com/LttYR5i9kL– Éric Topol (@EricTopol) 20 novembre 2024
