LiveSync : smart linking of 2D and 3D views in medical applications

Abstract

In dieser Dissertation werden zwei Techniken vorgestellt, welche 2D und 3D Ansichten in medizinischen Anwendungen geschickt miteinander verknüpfen. Obwohl interaktive 3D Volumenvisualisierung selbst für sehr große Datensätze verfügbar ist, wird diese recht wenig in der klinischen Praxis verwendet. Der größte Hinderungsgrund für eine bessere Integration in den klinischen Arbeitsablauf ist der hohe Zeitaufwand, um die Parameter für diagnostisch relevante Bilder einzustellen. Der Arzt muss sich um das Einstellen eines geeigneten Blickpunktes, des Zooms, einer Transferfunktion, von Schnittebenen und anderer Parameter kümmern.<br />Deshalb werden in aktuellen Anwendungen hauptsächlich 2D Ansichten verwendet, welche durch Standardverfahren wie Multiplanare Reformation (MPR) erzeugt werden.<br />Das LiveSync Interaktionsmetapher ist ein neuartiges Konzept zur Synchronisierung von 2D Schichtbildern und 3D Volumenansichten auf medizinische Datensätze. Die relevanten anatomischen Strukturen werden vom Benutzer durch intuitives Auswählen auf dem Schichtbild definiert.<br />Die 3D Volumenansicht wird automatisch aktualisiert, um dem Benutzer ein diagnostisch relevantes Bild anzubieten. Um diese direkte Synchronisierung zu erreichen, wird eine minimale Menge abgeleiteter Information verwendet. Hierbei werden keine vorsegmentierten Datensätze oder datenspezifische Vorberechnungen benötigt. Das vorgestellte System liefert dem Arzt synchronisierte Ansichten, welche dabei helfen können mit minimaler Benutzerinteraktion einen besseren Einblick in die medizinischen Daten zu bekommen.<br />Contextual Picking ist eine neuartige Methode, um relevante Positionen in volumetrischen Daten abhängig von ihrem Kontext interaktiv zu bestimmen. Erreicht wird dies durch das Auswählen eines Punktes in einem Bild, welches mittels direktem Volumenrendering erzeugt wurde. In der klinischen Diagnostik befinden sich die relevanten Positionen häufig im Zentrum anatomischer Strukturen. Um diese 3D Positionen, welche eine komfortable Untersuchung der gewünschten Struktur ermöglichen, abzuleiten, extrahiert das System kontextabhängige Metainformation aus den DICOM (Digital Imaging and Communications in Medicine) Bildern und der Konfiguration der medizinischen Arbeitsstation. Entlang eines Sichtstrahls für eine volumetrische Auswahl wird das Strahlenprofil analysiert, um Strukturen zu ermitteln, welche Ähnlichkeiten zu vordefinierten Vorlagen in einer Wissensdatenbank aufweisen. Es wird demonstriert, dass eine zurückgelieferte 3D Position dazu verwendet werden kann, eine Struktur in 2D Ansichten hervorzuheben. Desweiteren können angenäherte Zentrallinien röhrenförmiger Objekte interaktiv berechnet oder Beschriftungen kontextabhängigen 3D Positionen zugewiesen werden.<br />

In this thesis two techniques for the smart linking of 2D and 3D views in medical applications are presented. Although real-time interactive 3D volume visualization is available even for very large data sets, it is used quite rarely in the clinical practice. A major obstacle for a better integration in the clinical workflow is the time-consuming process to adjust the parameters to generate diagnostically relevant images. The clinician has to take care of the appropriate viewpoint, zooming, transfer function setup, clipping planes, and other parameters. Because of this, current applications primarily employ 2D views generated through standard techniques such as multi-planar reformatting (MPR). The LiveSync interaction metaphor is a new concept to synchronize 2D slice views and 3D volumetric views of medical data sets. Through intuitive picking actions on the slice, the users define the anatomical structures they are interested in. The 3D volumetric view is updated automatically with the goal that the users are provided with diagnostically relevant images. To achieve this live synchronization a minimal set of derived information, without the need for segmented data sets or data-specific precomputations, is used. The presented system provides the physician with synchronized views which help to gain deeper insight into the medical data with minimal user interaction.<br />Contextual picking is a novel method for the interactive identification of contextual interest points within volumetric data by picking on a direct volume rendered image. In clinical diagnostics the points of interest are often located in the center of anatomical structures. In order to derive the volumetric position, which allows a convenient examination of the intended structure, the system automatically extracts contextual meta information from the DICOM (Digital Imaging and Communications in Medicine) images and the setup of the medical workstation. Along a viewing ray for a volumetric picking, the ray profile is analyzed to detect structures which are similar to predefined templates from a knowledge base. It is demonstrated that the obtained position in 3D can be utilized to highlight a structure in 2D slice views, to interactively calculate approximate centerlines of tubular objects, or to place labels at contextually-defined 3D positions.<br />