Volumetric tumor segmentation on multimodal medical images using deep learning

Abstract

Die automatische Segmentierung von Tumoren auf verschiedenen Bildgebungsmodalitäten unterstützt Ärztinnen und Ärzte bei der Diagnose und Behandlung von Patienten. Magnetresonanztomographie (MRT), Computertomographie (CT) oder Positronenemissionstomographie (PET) zeigen den Tumor in einem unterschiedlichen anatomischen, funktionalen oder molekularen Kontext. Die Fusion dieser multimodalen Bildinformationen führt dabei zu einem umfassenderen Gesamtbild und ermöglicht genauere Diagnosen. Bislang wurde das Potential der multimodalen Daten nur von wenigen etablierten Segmentierungsmethoden verwendet. Weit weniger erforscht sind multimodale Methoden, die den Tumor nicht nur auf einer Bildmodalität segmentieren, sondern mehrere modalitätsabhängige Tumorsegmentierungen liefern. Ziel dieser Diplomarbeit ist es eine Segmentierungsmethode zu entwickeln, die den multimodalen Kontext nutzt, um die modalitätsabhängigen Segmentierungsergebnisse zu verbessern. Für die Implementierung wird ein künstliches neuronales Netzwerk verwendet, das auf einem Fully Convolutional Neural Network basiert. Die Netzwerkarchitektur wurde entworfen, um komplexe multimodale Merkmale zu lernen und somit effizient mehrere Tumorsegmentierungen auf unterschiedlichen Modalitäten vorhersagen zu können. Die Evaluierung erfolgt anhand eines Datensatzes bestehend aus MRT- und PET/CT- Scans von Weichteiltumoren. In einem Experiment wird untersucht wie sich unterschiedliche Netzwerkarchitekturen, multimodale Fusionsstrategien und verwendete Modalitäten auf das Segmentierungsergebnis auswirken. Das Experiment zeigt, dass multimodale Segmentierungs-Modelle zu signifikant besseren Ergebnissen führen als Modelle für einzelne Modalitäten. Vielversprechend sind auch die Ergebnisse der multimodalen Modelle, die mehrere modalitätsabhängige Tumorkonturen gleichzeitig segmentieren.

The automatic segmentation of tumors on different imaging modalities supports medical experts in patient diagnosis and treatment. Magnetic resonance imaging (MRI), Computed Tomography (CT), or Positron Emission Tomography (PET) show the tumor in a different anatomical, functional, or molecular context. The fusion of this multimodal information leads to more profound knowledge and enables more precise diagnoses. So far, the potential of multimodal data is only used by a few established segmentation methods. Moreover, much less is known about multimodal methods that provide several modality-specific tumor segmentations instead of a single segmentation for a specific modality. This thesis aims to develop a segmentation method that uses the multimodal context to improve the modality-specific segmentation results. For the implementation, an artificial neural network is used, which is based on a fully convolutional neural network. The network architecture has been designed to learn complex multimodal features to predict multiple tumor segmentations on different modalities efficiently. The evaluation is based on a dataset consisting of MRI and PET/CT scans of soft tissue tumors. The experiment investigated how different network architectures, multimodal fusion strategies, and input modalities affect the segmentation result. The investigation showed that multimodal models lead to significantly better results than models for single modalities. Promising results have also been achieved with multimodal models that segment several modality-specific tumor contours simultaneously.