Guided interactive volume editing in medicine

Abstract

Bildgebende Verfahren wie Computertomographie, Magnetresonanztomographie und Ultraschall sind aus der medizinischen Diagnostik nicht mehr wegzudenken; sie sind mittlerweile für die Diagnose unterschiedlichster Krankheiten unumgänglich geworden. Die Anamnese (der medizinische Diagnoseprozess) mittels bildgebender Verfahren kann durch automatische und interaktive Analysetools in hohem Maße unterstützt werden. Analysetools können für standardisierte Messungen verwendet werden, zum Bewerten von Pathologien, zum Planen von Behandlungen und Operationen, und vielem mehr. Um solche Analysetools bestmöglich einsetzen zu können, müssen seitens der Daten bestimmte Voraussetzungen erfüllt werden. Eine der wichtigsten Anforderungen ist dabei das Vorhandensein einer Segmentierungsmaske jener inneren Organe oder Strukturen, die von den ärzten näher untersucht werden sollen. Die Segmentierung von medizinischen Daten ist nach wie vor ein fehleranfälliger Prozess. Nicht selten müssen Segmentierungsmasken, obwohl (semi-)automatisch erstellt, von geschultem Personal manuell nachbearbeitet werden, um ein brauchbares Ergebnis zu erzielen. Daraus ergibt sich eine große Nachfrage nach interaktiven, und möglichst intuitiven Techniken zum Bearbeiten von Segmentierungsmasken für medizinische Daten. In dieser Dissertation werden drei fortgeschrittene Techniken zum Bearbeiten von Segmentierungsmasken vorgestellt. Besonderes Augenmerk wurde dabei auf die Wahl einfacher Interaktionsmöglichkeiten gelegt, mit Hilfe derer in relativ kurzer Zeit ein gutes Segmentierungsergebnis erzielt werden kann. Alle drei Techniken haben gemein, dass sie auf einer Repräsentation aufbauen welche die Topologie der Segmentierungsmaske berücksichtigt. Diese erlaubt es, strukturelle Merkmale in den Daten zu erkennen, die jeweils bestimmten Segmentierungsfehlern zugeordnet werden können. In einem ersten Schritt wurden die möglichen Segmentierungsfehler klassifiziert, und dann jeweils Lösungswege zum Beheben dieser Fehler erarbeitet. Basierend auf der Klassifikation können Benutzern passende Techniken zum Bearbeiten der Segmentierungsfehler vorgeschlagen werden; allerdings müssen die Defekte zuvor von den Benutzern selbst detektiert werden. Im Zuge dieser Arbeit konnte der Bearbeitungsprozess weiter verbessert werden, indem problematische Regionen automatisch detektiert und klassifiziert werden. Folglich ändern sich die Interaktionstechniken insofern, dass Benutzer nun aus einer Auswahl von vorgeschlagenen Lösungswegen wählen können. Die Auswahl der möglichen Lösungswegse wird zuvor passend zur Klassifikation des Segmentierungsfehlers automatisch erstellt. Die Klassifikation der Segmentierungsfehler erfolgt aufgrund einer Analyse der zugrundeliegenden Unterschiede der Segmentierungsmaske. Die möglichen Lösungswege werden in einer glyphbasierten Visualisierung präsentiert, welche eine Analyse der Daten in unterschiedlichen Detaillierungsgraden erlaubt. Die Benutzer müssen dadurch nicht mehr direkt mit den Maskendaten interagieren, sondern können sich auf die vorgeschlagenen Lösungswege konzentrieren, was den Aufwand und die Bearbeitungszeit drastisch reduziert. Als weiterer und finaler Schritt dieser Arbeit wurden weitere Techniken entwickelt, um die Benutzer während des gesamten Bearbeitungsvorganges zu unterstützen. Die Lösungswege wurden mit Hilfe statistischer Methoden bewertet, um sie danach den Benutzern in einer geordneten Form zu präsentieren. Die Ordnung repräsentiert dabei sowohl die statistische Signifikanz, als auch den passenden Detaillierungsgrad. Die Lösungswege werden in radialer Form hierarchisch visualisiert, wodurch die Benutzer zu den Regionen geleitet werden, die jeweils die größte Aufmerksamkeit erfordern. Während dem Betrachten einer bestimmten Region werden nur jene Lösungswege angeboten, die sich auch als relevant erweisen, um die Benutzer in der Darstellung nicht mit nicht benötigten Details zu überfordern. Alle im Rahmen dieser Arbeit erarbeiteten Techniken wurden zusammen mit Radiologen evaluiert, wobei die Bedienbarkeit der Interaktionsmöglichkeiten, der Zeitaufwand und die Genauigkeit der Resultate bewertet wurden. Die Ergebnisse der Auswertung belegen einerseits die Vorteile unserer Techniken, in wenigen Interaktionsschritten ein genaues Segmentierungsergebnis zu erhalten, als auch deren Anwendbarkeit in verschiedenen Anwendungsszenarien.

Various medical imaging techniques, such as Computed Tomography, Magnetic Resonance Imaging, Ultrasonic Imaging, are now gold standards in the diagnosis of different diseases. The diagnostic process can be greatly improved with the aid of automatic and interactive analysis tools, which, however, require certain prerequisites in order to operate. Such analysis tools can, for example, be used for pathology assessment, various standardized measurements, treatment and operation planning. One of the major requirements of such tools is the segmentation mask of an object-of-interest. However, the segmentation of medical data remains subject to errors and mistakes. Often, physicians have to manually inspect and correct the segmentation results, as (semi-)automatic techniques do not immediately satisfy the required quality. To this end, interactive segmentation editing is an integral part of medical image processing and visualization. In this thesis, we present three advanced segmentation-editing techniques. They are focused on simple interaction operations that allow the user to edit segmentation masks quickly and effectively. These operations are based on a topology-aware representation that captures structural features of the segmentation mask of the object-of-interest. Firstly, in order to streamline the correction process, we classify segmentation defects according to underlying structural features and propose a correction procedure for each type of defect. This alleviates users from manually applying the proper editing operations, but the segmentation defects still have to be located by users. Secondly, we extend the basic editing process by detecting regions that potentially contain defects. With subsequently suggested correction scenarios, users are hereby immediately able to correct a specific defect, instead of manually searching for defects beforehand. For each suggested correction scenario, we automatically determine the corresponding region of the respective defect in the segmentation mask and propose a suitable correction operation. In order to create the correction scenarios, we detect dissimilarities within the data values of the mask and then classify them according to the characteristics of a certain type of defect. Potential findings are presented with a glyph-based visualization that facilitates users to interactively explore the suggested correction scenarios on different levels-of-detail. As a consequence, our approach even offers users the possibility to fine-tune the chosen correction scenario instead of directly manipulating the segmentation mask, which is a time-consuming and cumbersome task. Third and finally, we guide users through the multitude of suggested correction scenarios of the entire correction process. After statistically evaluating all suggested correction scenarios, we rank them according to their significance of dissimilarities, offering fine-grained editing capabilities at a user-specified level-of-detail. As we visually convey this ranking in a radial layout, users can easily spot and select the most (or the least) dissimilar correction scenario, which improves the segmentation mask mostly towards the desired result. All techniques proposed within this thesis have been evaluated by collaborating radiologists. We assessed the usability, interaction aspects, the accuracy of the results and the expenditure of time of the entire correction process. The outcome of the assessment showed that our guided volume editing not only leads to acceptable segmentation results with only a few interaction steps, but also is applicable to various application scenarios.