Les régions annotantes d'intérêt pour les images médicales, un processus connu sous le nom de segmentation, est souvent l'un des premiers pas que les chercheurs cliniques prennent lors de la gestion d'une nouvelle étude impliquant des images biomédicales.
Par exemple, pour déterminer comment la taille de l'hippocampe du cerveau change à mesure que les patients vieillissent, le scientifique décrit d'abord chaque hippocampe dans une série de scanneurs cérébrales. Pour de nombreuses structures et types d'images, il s'agit souvent d'un processus manuel qui peut être extrêmement long, surtout si les régions étudiées sont difficiles à délimiter.
Pour rationaliser le processus, les chercheurs du MIT ont développé un système basé sur l'intelligence artificielle qui permet à un chercheur de segmenter rapidement de nouveaux ensembles de données d'imagerie biomédicale en cliquant, en griffonnant et en dessinant des boîtes sur les images. Ce nouveau modèle d'IA utilise ces interactions pour prédire la segmentation.
À mesure que l'utilisateur marque des images supplémentaires, le nombre d'interactions dont ils ont besoin pour effectuer diminue, finissant par tomber à zéro. Le modèle peut ensuite segmenter chaque nouvelle image avec précision sans entrée utilisateur.
Il peut le faire car l'architecture du modèle a été spécialement conçue pour utiliser des informations à partir d'images qu'elle a déjà segmentées pour faire de nouvelles prévisions.
Contrairement à d'autres modèles de segmentation d'image médicale, ce système permet à l'utilisateur de segmenter un ensemble de données entier sans répéter son travail pour chaque image.
En outre, l'outil interactif ne nécessite pas un ensemble de données d'image pré-5, donc les utilisateurs n'ont pas besoin d'expertise d'apprentissage automatique ou de ressources de calcul approfondies. Ils peuvent utiliser le système pour une nouvelle tâche de segmentation sans recycler le modèle.
À long terme, cet outil pourrait accélérer les études de nouvelles méthodes de traitement et réduire le coût des essais cliniques et de la recherche médicale. Il pourrait également être utilisé par les médecins pour améliorer l'efficacité des applications cliniques, telles que la planification des radiations.
De nombreux scientifiques pourraient avoir le temps de segmenter quelques images par jour pour leurs recherches, car la segmentation manuelle de l'image est si longue. Nous espérons que ce système permettra à une nouvelle science en permettant aux chercheurs cliniques de mener des études qui leur ont été interdites de faire en raison de l'absence d'un outil efficace. «
Hallee Wong, étudiante diplômée en génie électrique et en informatique et auteur principal d'un article sur le nouvel outil
Elle est rejointe sur le journal par Jose Javier Gonzalez Ortiz PhD '24; John Guttag, professeur de Dugald C. Jackson en informatique et génie électrique; et l'auteur principal Adrian Dalca, professeur adjoint à la Harvard Medical School and MGH, et un chercheur scientifique au MIT Informatique et Laboratoire d'intelligence artificielle (CSAIL). La recherche sera présentée à la Conférence internationale sur la vision par ordinateur.
Il existe principalement deux méthodes que les chercheurs utilisent pour segmenter de nouveaux ensembles d'images médicales. Avec une segmentation interactive, ils saisissent une image dans un système d'IA et utilisent une interface pour marquer les zones d'intérêt. Le modèle prédit la segmentation en fonction de ces interactions.
Un outil précédemment développé par les chercheurs du MIT, ScribblePrompt, permet aux utilisateurs de le faire, mais ils doivent répéter le processus pour chaque nouvelle image.
Une autre approche consiste à développer un modèle d'IA spécifique à la tâche pour segmenter automatiquement les images. Cette approche oblige l'utilisateur à segmenter manuellement des centaines d'images pour créer un ensemble de données, puis à former un modèle d'apprentissage automatique. Ce modèle prédit la segmentation d'une nouvelle image. Mais l'utilisateur doit démarrer le processus complexe basé sur l'apprentissage en machine à partir de zéro pour chaque nouvelle tâche, et il n'y a aucun moyen de corriger le modèle si cela fait une erreur.
Ce nouveau système, Multiverseg, combine le meilleur de chaque approche. Il prédit une segmentation pour une nouvelle image basée sur les interactions utilisateur, comme les gribouillis, mais conserve également chaque image segmentée dans un ensemble de contexte à laquelle il fait référence plus tard.
Lorsque l'utilisateur télécharge une nouvelle image et marque les domaines d'intérêt, le modèle s'appuie sur les exemples de son contexte de contexte pour faire une prédiction plus précise, avec moins d'entrée utilisateur.
Les chercheurs ont conçu l'architecture du modèle pour utiliser un ensemble de contexte de toute taille, donc l'utilisateur n'a pas besoin d'avoir un certain nombre d'images. Cela donne à Multiverseg la flexibilité à utiliser dans une gamme d'applications.
« À un moment donné, pour de nombreuses tâches, vous ne devriez pas avoir besoin de fournir des interactions. Si vous avez suffisamment d'exemples dans l'ensemble de contexte, le modèle peut prédire avec précision la segmentation en soi », explique Wong.
Les chercheurs ont soigneusement conçu et formé le modèle sur une collection diversifiée de données d'imagerie biomédicale pour s'assurer qu'elle avait la capacité d'améliorer progressivement ses prédictions en fonction de l'apport utilisateur.
L'utilisateur n'a pas besoin de recycler ou de personnaliser le modèle pour ses données. Pour utiliser Multiverseg pour une nouvelle tâche, on peut télécharger une nouvelle image médicale et commencer à le marquer.
Lorsque les chercheurs ont comparé Multiverseg à des outils de pointe pour la segmentation d'image en contexte et interactif, il a surpassé chaque ligne de base.
Moins de clics, de meilleurs résultats
Contrairement à ces autres outils, Multiverseg nécessite moins de saisie des utilisateurs à chaque image. Selon la neuvième nouvelle image, il n'avait besoin que de deux clics de l'utilisateur pour générer une segmentation plus précise qu'un modèle conçu spécifiquement pour la tâche.
Pour certains types d'images, comme les rayons X, l'utilisateur pourrait avoir besoin de segmenter manuellement une ou deux images avant que le modèle ne devienne suffisamment précis pour faire des prédictions par elle-même.
L'interactivité de l'outil permet également à l'utilisateur d'apporter des corrections à la prédiction du modèle, en itérant jusqu'à ce qu'elle atteigne le niveau de précision souhaité. Par rapport au système précédent des chercheurs, Multiverseg a atteint une précision de 90% avec environ 2/3 du nombre de gribouillis et 3/4 le nombre de clics.
« Avec Multiverseg, les utilisateurs peuvent toujours fournir plus d'interactions pour affiner les prédictions de l'IA. Cela accélère encore considérablement le processus car il est généralement plus rapide de corriger quelque chose qui existe que de commencer à zéro », explique Wong.
À l'avenir, les chercheurs souhaitent tester cet outil dans des situations du monde réel avec des collaborateurs cliniques et l'améliorer en fonction des commentaires des utilisateurs. Ils veulent également permettre à Multiverseg de segmenter les images biomédicales 3D.
Ce travail est soutenu, en partie, par Quanta Computer, Inc. et les National Institutes of Health, avec le soutien matériel du Massachusetts Life Sciences Center.
