Real-time mono- and multi-volume rendering of large medical datasets on standard PC hardware

Abstract

Direkte Volumenvisualisierung ist eine effiziente Methode um komplexe Strukturen volumetrischer Datensätze zu untersuchen. Der Hauptvorteil, verglichen zur normalen Oberflächenvisualisierung, ist die Möglichkeit halbtransparente Visualisierungen zu generieren, dadurch erhält man mehr Informationen über die räumlichen Zusammenhänge verschiedener Strukturen. Um solch halb transparenten Visualisierungen zu erzeugen, muss eine enorme Datenmenge abgearbeitet werden. Durch immer leistungsfähigere Prozessoren und durch verbesserte Aufnahmegeräte werden diese Datenmengen immer größer. Diese enormen Datenmengen stellen eine große Herausforderung für derzeitige 3D Rendering Architekturen und Algorithmen dar. Die immer größeren Datenmengen erhöhen die Nachfrage an 3D Visualisierung. Die herkömmliche 2D Visualisierung erreicht, durch die enorme Anzahl von Schichtbildern, bereits die Grenze der Benutzbarkeit. Die 3D Visualisierung wird immer mehr als eine alternative unterstützende Methode von Schichtbild-Untersuchungen großer medizinischer Datensätze eingesetzt.<br />In dieser Dissertation werden effiziente Verfahren zur Handhabung und dem Rendern großer volumetrischer Daten vorgestellt, welche zu einer signifikanten Geschwindigkeitssteigerung, durch bessere Ausnützung von Prozessor- und Speicher-bandbreite, führen. Zuerst werden Verfahren zum Adressieren und Verarbeiten eines Cache-effizienten Speicher-Layouts für große volumetrische Daten vorgestellt. Diese Verfahren dienen als Basis für ein komplettes hochqualitatives Raycasting-System, welches in der Lage ist große Daten bis zu 3 GB, eine Limitierung des virtuellen Adressbereichs heutiger Betriebssysteme, zu handhaben. Die Hauptbeschleunigungs-Komponenten dieses System sind eine raffinierte Caching Methode für die Gradientenberechnung in Verbindung mit einer hybriden Technik zum Überspringen und Entfernen transparenter Regionen, wodurch die Menge der zu verarbeitenden Daten signifikant reduziert wird. Dieses System wird dann so erweitert, dass effizientes Verarbeiten mehrerer volumetrischer Datensätze möglich ist. Ein Beschleunigungsverfahren zum Rendern von Szenen, die aus mehreren volumetrischen Datensätzen bestehen, wird vorgestellt. Die Grundidee des Verfahrens basiert auf der Unterscheidung zwischen Regionen, in denen sich mehrere Objekte überschneiden, die eine teure Verarbeitung erfordern, und Regionen in denen sich nur ein Objekt befindet und somit eine effizienteres Verarbeiten erlauben. Weiterhin werden V-Objects, ein Konzept zur Modellierung von Szenen, welche aus mehreren volumetrischen Objekten bestehen, vorgestellt. Es wird gezeigt, dass das Konzept der V-Objects zusammen mit direkter Volumenvisualisierung eine viel versprechende Methode zur Visualisierung medizinischer Daten ist und das es eine weiterte Möglichkeit zum Untersuchen und Erkunden der Daten bietet. Im zweiten Teil der Dissertation wird eine Alternative zur gitter-basierten Volumengraphik vorgestellt: Vots, eine punkt-basierte Representation volumetrischer Daten. Es ist ein neues Primitive zur Modellierung, Verarbeitung und Rendern von volumetrischen Daten. Ein neues Paradigma wird präsentiert durch die Umwandlung der Daten von einer diskreten zu einer impliziten Darstellung.<br />

Direct Volume Visualization is an efficient technique to explore complex structures within volumetric data. Its main advantage, compared to standard 3D surface rendering, is the ability to perform semitransparent rendering in order to provide more information about spatial relationships of different structures. Semitransparent rendering requires to process a huge amount of data. The size of volumetric data is rapidly increasing, on the one hand due to the boost of processing power in the past years, and on the other hand due to improved capabilities of newer acquisition devices. This large data presents a challenge to current rendering architectures and techniques. The enormous data sizes introduce a growing demand for interactive 3D visualization. Conventional slicing methods already reach their limit of usability due to the enormous amount of slices. 3D visualization is more and more explored as an attractive alternative additional method for examinations of large medical data to support the necessary 2D examination. Within this dissertation a set of approaches to handle and render large volumetric data is developed, enabling significant performance improvements due to a much better utilization of the CPUs processing power and available memory bandwidth. At first, highly efficient approaches for addressing and processing of a cache efficient memory layout for volumetric data are presented. These approaches serve as a base for a full-blown high-quality raycasting system, capable of handling large data up to 3GB, a limitation imposed by the virtual address space of current consumer operating systems. The core acceleration techniques of this system are a refined caching scheme for gradient estimation in conjunction with a hybrid skipping and removal of transparent regions to reduce the amount of data to be processed. This system is extended so that efficient processing of multiple large data sets is possible. An acceleration technique for direct volume rendering of scenes, composed of multiple volumetric objects, is developed; it is based on the distinction between regions of intersection, which need costly multi-volume processing, and regions containing only one volumetric object, which can be efficiently processed. Furthermore, V-Objects, a concept of modeling scenes consisting of multiple volumetric objects, are presented. It is demonstrated that the concept of V-Objects in combination with direct volume rendering, is a promising technique for visualizing medical data and can provide advanced means to explore and investigate data. In the second part of the dissertation, an alternative to grid-based volume graphics is presented: Vots, a point-based representation of volumetric data. It is a novel primitive for volumetric data modeling, processing, and rendering. A new paradigm is presented by moving the data representation from a discrete representation to an implicit one.