Semi-supervised annotation of medical data

Abstract

Manuelle Segmentierung von medizinischen Bilddaten ist mühsam und zeitintensiv - mehrfach-Segmentierungen schnell unerschwinglich (vor allem auf 3D Daten). Aus diesem Grund, entwickelten wir einen interaktiven, inkrementellen Annotierungsansatz für 2D/3D medizinische Bilddaten, mit Fokus auf gleichzeitige, halbüberwachte, klassifizierungsbasierte Segmentierung von Bilddaten mehrerer Patienten. Als initialen Schritt verwenden wir eine Übersegmentierungsmethode, sogenannte Superpixel, um räumlich zusammenhängende, homogene Strukturen unter Beibehaltung von Randinformation zu klustern. Der Benutzer markiert Vertreter für jede Objektklasse innerhalb des Bildes (z.B. Lunge, Herz, Hintergrund) durch Pinselstriche mit der PC-Maus. Die entnommenen Strukturen werden durch einen Random Forest- Klassifikator gelernt. Die resultierende Wahrscheinlichkeit, dass ein Superpixel zu einer bestimmten Klasse gehört, kombiniert mit lokalen Deskriptoren für die Verbindung zwischen Superpixel und optimiert durch einen MRF Solver, ergibt eine erste Schätzung der gewünschten Strukturen in allen Patienten-Ansichten. Die Annotierung wird sukzessive verfeinert, und die Benutzereingaben maximal genützt.<br />Das resultierende Programm bietet eine mehrfachpatienten-Ansicht, und ermöglicht die Interaktion mit allen einzelnen Annotierungen gleichzeitig. Wir bewerten die Ergebnisse der Segmentierungen anhand von 25 Röntgenbilder von linken Händen, 14 CT Thorax Schichtbilder und 6 CT Hand Volumendaten. Die Annotierung von 17,8% - 30,3% aller berechneten Bild Superpixel mittels vorgeschlagenen Ansatzes, ergibt eine >90% korrekte Segmentierung aller Patientendaten. Übersegmentierung durch Superpixel kombiniert mit lokalen Deskriptoren verkleinern das Labeling Problem bei Segmentierungen von Bilddaten mehrerer Patienten. Die Annotierungs Zeit wird dadurch stark reduziert, die Genauigkeit der segmentierten Konturen nimmt annähernd proportional mit der Anzahl der Superpixel zu.<br />

Manual segmentation of medical image data is tedious and time intensive - multiple segmentations quickly become prohibitively expensive (especially on 3D data). Observing this, we developed an interactive, incremental annotation approach for 2D/3D medical image data, focusing on simultaneous, weakly-supervised, classification based, multi-patient segmentations.<br />We use an initial over-segmentation method, so-called Superpixels to cluster spatially-coherent, homogeneous structures while retaining edge information. User-guided brush strokes mark representatives for each label class within the image e. g. lung, heart, background). The retrieved structures are learned by a random forest classifier. The resulting probabilities for a superpixel to belong to a specific class are combined with local descriptors for edges between superpixels and are optimized by an MRF solver, giving a first estimation of desired appearances in all multi-patient views.<br />Successive interactions refine the annotation, making maximal use of each user input.<br />The resulting framework provides a multi-patient view, allowing to interact with all individual annotation simultaneously. We evaluate the segmentation results on 25 left-hand radiographs, 14 CT thorax slices and 6 hand CT volumes. The proposed framework yields a >90% correct segmentation of multi-patient data sets by the annotation of 17,8% - 30,3% of all computed image Superpixels.<br />Using over-segmentation trough Superpixels combined with local descriptors make whole image labeling problems in multi-patient segmentations tractable. Multi-patient annotation time is greatly reduced, but contour accuracy is increased nearly proportional to the number of Superpixels.<br />