Interactive co-registration for multi-modal cancer imaging data based on segmentation masks

Abstract

Endometriumkarzinom ist weltweit die häufigste und tödlichste gynäkologische Malignität. In der gynäkologischen Krebsforschung werden pro Patientin mehrere MRT-Sequenzen aufgenommen, da sie unterschiedliche Gewebemerkmale erkennen lassen. Bei der radiomischen Tumorprofilierung werden Merkmale aus medizinischen Bildgebungsdaten extrahiert, um neue bildgebende Biomarker zu finden. Die Co-Registrierung und Tumorsegmentierung von multisequenziellen MRT-Daten bilden die Grundlage für die radiomische Tumorprofilierung. Es gibt viele Ansätze, die darauf abzielen, diese zeitaufwändigen manuellen Prozesse zu automatisieren. Auch nach der automatischen Co-Registrierung sind die Volumina oft nicht ausreichend gut ausgerichet. Die mangelhafte Qualität der Registrierung wirkt sich auf die Ergebnisse der radiologischen Tumorprofilierung aus, da die Integrität der Voxel nicht sichergestellt werden kann. Wir unterscheiden zwischen rigider und deformierbarer Registrierung. Bei der rigiden Registrierung wird ein Volumen nur mit Hilfe von Translations- und Rotationsparametern transformiert, während bei der deformierbaren Registrierung auch lokale Verformungen möglich sind. Im Vergleich zu umliegendem Gewebe sind Tumore rigide Strukturen. Wenn ausschließlich der Tumor im Fokus der Registierung steht, kann daher eine rigide Co-Registrierung ausreichend sein. Um jedoch auch die umgebenden Strukturen zu analysieren, ist eine verformbare Registrierung erforderlich. Obwohl Tumore starre Strukturen sind, können sie in den verschiedenen Sequenzen aufgrund der Bildgebungsphysik leicht unterschiedlich aussehen. Daher kann die Anwendung der deformierbaren Registrierung auf das gesamte Bild zu Tumorverformungen führen, die nicht den zugrunde liegenden biologischen Gewebecharakteristika entsprechen und wichtige Informationen über die Eigenschaften des Tumorgewebes verändern können. Um diese beiden Probleme zu lösen, schlagen wir die webbasierte Anwendung MuSIC (Multi-Sequential Interactive Co-Registration) vor. Die Applikation ermöglicht die gleichzeitige Co-Registrierung mehrerer Sequenzen auf der Grundlage einer vordefinierten Segmentierungsmaske, die für eine der Sequenzen generiert wurde. In unserem Arbeitsablauf sucht ein auf Simulated Annealing basierender Shape-Matching-Algorithmus in jeder Sequenz nach der Tumorposition, die sich in Translation und Rotation unterscheiden kann. Anschließend präsentieren wir die gefundenen Positionen der Segmentierungsmasken für jede Sequenz dem Nutzer, welcher die Position der Segmentierungsmaske, falls nötig, interaktiv adaptieren kann. Wir inkludieren multimodale Visualisierungstechniken zur visuellen Qualitätsbeurteilung während des interaktiven Registrierungsprozesses. Basierend auf der Platzierung der Segmentierungsmasken registrieren wir die Volumina. Wir ermöglichen sowohl eine rigide als auch eine deformierbare Co-Registrierung. Durch unseren Segmentierungsmasken-basierten Ansatz werden bei der deformierbaren Registrierung lokale Transformationen primär im Gewebe außerhalb des Tumors angewendet. Wir evaluieren unseren Ansatz in einer Usability-Analyse mit Experten aus den Bereichen Medizin und maschinellem Lernen. Die Teilnehmer finden unsere Anwendung sehr intuitiv und vor allem die medizinischen Experten können sich gut vorstellen MuSIC in Zukunft zu nutzen.

Endometrial cancer is the most common and most lethal gynecologic malignancy worldwide. Multiple MRI sequences are acquired per patient in gynecologic cancer research because they reveal different tissue characteristics. Radiomic tumor profiling extracts features from medical imaging data aiming to find new tumor imaging biomarkers. Co-registration and tumor segmentation of multi-sequential MRI data build the base for radiomic tumor profiling. Many approaches exist that aim to automate these time-consuming manual processes. After automatic co-registration, volumes are often still misaligned. This lack of registration quality has an impact on the results of radiomic tumor profiling, since we cannot ensure voxel integrity. We distinguish between rigid and deformable registration. Rigid registration transforms a volume using only translation and rotation parameters, while deformable registration can include local deformations. Tumors are rigid structures compared to the tissue around them. Therefore, rigid co-registration can be sufficient to align tumors. However, to analyze also surrounding structures, deformable registration is necessary. Even though tumors are rigid structures, they can appear slightly different in the varying sequences due to imaging physics. Applying deformable registration to the whole image can result in tumor deformations that do not resemble the underlying biological tissue characteristics and can alter important information about tumor tissue characteristics. To address these two problems, we propose the web-based application MuSIC (Multi- Sequential Interactive Co-registration). The tool allows medical experts to co-register multiple sequences simultaneously based on a pre-defined segmentation mask that has been generated for one of the sequences. In our workflow, a simulated-annealing-based shape matching algorithm searches for the tumor position in each sequence that can vary in translation and rotation parameters. We present the updated segmentation positions to the user, who can interactively adapt the positions if needed. We include multi-modal visualization techniques for visual quality assessment during this procedure. Based on the positioning of the segmentation masks, we register the volumes. We allow for both rigid and deformable co-registration. Due to our approach based on segmentation masks, we apply local transformations mainly outside the tumor tissue in deformable registration. We evaluate our approach in a usability analysis with medical and machine learning experts. They find the tool very intuitive and especially the medical experts clearly see themselves using MuSIC in the future.