Computational methods enabling interactivity in analysis and exploration of volumetric images

Abstract

Volumetrische Bildgebung ist ein Verfahren, das ermöglicht, Einblick in eigentlich undurchsichtige Körper zu erhalten.<br />Sie werden daher häufig im medizinischen Bereich und in den Biowissenschaften angewendet.<br />Volumetrische Bilddaten geben ihren Inhalt allerdings nicht ohne Weiteres preis.<br />Deshalb wird eine große Anzahl verschiedener Visualisierungs- und Verarbeitungsmethoden verwendet, die bei der Analyse und Explorierung der Daten helfen können.<br />Analyse und Explorierung sind interaktive Vorgänge, die entweder manuell oder mit Hilfe von automatisierten Verfahren durchgeführt werden.<br />Für eine effiziente Durchführung dieser Aufgabe ist es wichtig, dass sich das verwendete System interaktiv und flüssig verhält.<br />Daher müssen Systeme, die den Anwender bei diesen Aufgaben unterstützen, drei Bedingungen erfüllen.<br />Erstens: Das System muss dem Benutzer in jedem Fall innerhalb kurzer Zeit Rückmeldung geben können.<br />Zweitens: Berechnete Ergebnisse müssen in einer Form dargestellt werden, die es dem Benutzer ermöglicht, die wichtigen Informationen gut zu erkennen.<br />Drittens: Das System muss eine Kontrollmöglichkeit bieten, die es erlaubt, die Software effizient zu steuern.<br />In der vorliegenden Dissertation wird anhand von vier Projekte gezeigt, wie verschiedene Aspekte des Interaktivitätsproblems gelöst werden können.<br />In dem ersten Projekt wird der Entwurf einer Applikation vorgestellt, die, bedingt durch ihren Einsatzort, stark in ihrer Interaktionsmöglichkeit beschränkt ist.<br />Dies wird gelöst, indem zum einen robuste Visualisierungsmethoden verwendet werden, die Interaktion möglichst unnötig machen, und zum anderen ein spezielles Bedienungskonzept erarbeitet wird, das Interaktion auf das Minimum beschränkt.<br />Das zweite Projekt behandelt Methoden zur Optimierung eines rechenaufwändigen Verfahrens zur Landmarkenlokalisierung, sodass diese in einem interaktiven Anwendungsfall eingesetzt werden können. Die Ergebnisse müssen in wenigen Sekunden vorliegen.<br />Dies wird erreicht, indem das ``Probabilistic Boosting Tree''-Klassifikationsverfahren durch verschiedene Methoden erweitert und optimiert wird und so den gestellten Bedingungen bezüglich Laufzeit und Speicherverbrauch genügt.<br />Das dritte und das vierte Projekt setzen den Fokus auf den Aufgabenbereich der interaktiven Exploration von großen Objekt- und Bildsammlungen.<br />Zwei verschiedene Herangehensweisen werden präsentiert: \\ Erstens: Zum schnellen Auffinden von ähnlichen Objekten in einer Datenbank für neuronale Substrukturen werden spezialisierte Ähnlichkeitsmaße sowie Verfahren zur schnellen Auswertung dieser vorgestellt.\\ Zweitens: Zum schnellen Auffinden von Objekten und volumetrischen Bildern, basierend auf lokalen Eigenschafften, wie z.B. Nachbarschaft, Überlappung, lokaler Bildinhalt und lokale Bildähnlichkeit, wird eine optimierte Indexstruktur entwickelt.<br />Diese Datenstruktur erlaubt das indizieren lokaler Eigenschaften dieser Objekt- und Bilddaten auf eine Speicherplatzeffiziente Art und Weise, die auf den räumlich kohärenten Zugriff optimiert ist.<br />Die präsentierten Projekte zeigen, dass die Herausforderung für das Erreichen von Interaktivität oft beim Entwickeln von Methoden liegt, die die Balance zwischen Berechnungsgeschwindigkeit und Qualität der Ergebnisse auf eine für den Benutzer optimale Weise herstellt.<br />Ausserdem wird gezeigt, dass die Geschwindigkeit der Algorithmen nicht die einzige Eigenschaft ist, die für die Interaktivität verantwortlich ist.<br />Die Präsentation der Ergebnisse, sowie effiziente Kontrollschnittstellen, sind als ähnlich wichtig zu erachten und tragen zur Qualität der interaktiven Benutzererfahrung bei.<br />

Volumetric imaging is widely used in medicine and life sciences allowing to gain insight into otherwise opaque objects.<br />Volumetric images do not unveil their content in a direct way due to their spatial structure.<br />Therefore a variety of computational methods are used for visualization and processing which allow to explore and analyze the data.<br />Analysis and exploration of the data is usually performed in an interactive way either manually or with support of semi-automatic algorithms.<br />It is crucial for an efficient completion of the task that the system performs interactively and responsively.<br />Thus, software supporting the user in an effective way relies on three basic requirements.<br />First, the system must deliver feedback in a short period of time.<br />Second, results of any computation must be presented or visualized in a way that the user can efficiently recognize the important information.<br />Third, the user must be able to efficiently control, initialize or adjust the algorithm through a suitable user interface.<br />In this thesis four approaches are presented which aim to solve different aspects of the problem of enabling interactivity in analysis and exploration of volumetric image data.<br />The first presented project studies the design of an application which has strict limitations concerning the user interface due to the application environment which requires almost a hands free interaction.<br />The problem is approached by the development of efficient and robust visualization which makes adjustments needless, and by the development of sophisticated interaction patterns which reduce the needed interface to the minimum.<br />The second project focuses on methods which optimize a computationally intensive feature detection task that can be used in an interactive scenario which requires the algorithm to produce results in just a few seconds.<br />To achieve this goal the probabilistic boosting tree classification algorithm is extended and optimized for runtime and memory efficiency.<br />The third and the fourth project focus on the interactive exploration of large image and object collections.<br />Two approaches are presented for this problem area.<br />For the retrieval of neuronal objects by similarity, measures for different neuronal substructures have been developed which are able to perform efficiently on large amounts of data.<br />For retrieval of images and objects by local means such as neighborhood, overlap, local image expression and local image similarity a sophisticated updatable high performance index structure has been developed.<br />The index allows to store local properties of volumetric data in a space efficient way and to retrieve this data with low latency.<br />The presented projects demonstrate that the challenge of achieving interactivity often is the development of methods which allow to balance processing speed with result quality.<br />Furthermore it is shown that time performance is not the only property which needs to be respected, result presentation as well as interaction patterns deserve similar attention and contribute greatly to an interactive user experience.