GPU-based multi-volume rendering of complex data in neuroscience and neurosurgery

Abstract

Technische Fortschritte in bildgebenden Verfahren und deren weite Verfügbarkeit im medizinischen und bio-medizinischen Bereich haben zu einer noch nie dagewesenen Menge an hochaufgelösten Bilddaten geführt. Für die meisten Visualisierungs- Werkzeuge stellt jedoch die Komplexität dieser Daten, hervorgerufen durch ihre enorme Größe, Auflösung, komplexe Struktur oder Multi-Modalität große Herausforderungen dar. Die vorliegende Arbeit baut auf den aktuellen Entwicklungen im Bereich der bildgebenden Verfahren und der hohen Performanz und Flexibilität heutiger Grafikkarten auf, um neue Methoden zur 3D Visualisierung in der Neurochirurgie und Neurobiologie zu entwickeln. Der erste Teil der Arbeit beschreibt eine Anwendung für die Planung von neurochirurgischen Eingriffen. Es werden GPU-basierte Multi-Volume-Rendering- Methoden entwickelt, um die Volumendaten mehrerer unterschiedlicher Bild-Modalitäten gleichzeitig darstellen zu können. Diese kombinierte Visualisierung erlaubt die genaue Darstellung der individuellen Anatomie, neurologischen Funktionen und Stoffwechselvorgänge der Patienten. Darüber hinaus werden neue Interaktions-Metaphern eingeführt, die es Chirurgen ermöglichen, den operativen Zugang zum Gehirn patientenindividuell zu planen und zu simulieren.<br />Der zweite Teil der Arbeit konzentriert sich auf GPU-basierte Volume-Rendering- Techniken für die Darstellung großer und komplexer EM Daten, wie sie im Bereich der Neurowissenschaften vorhanden sind. Ein neuer auf unterschiedliche Auflösungsstufen beruhender Volume-Ray-Casting-Ansatz ermöglicht die artefaktfreie Darstellung von Blöcken mit unterschiedlichen Auflösungsstufen. Schließlich wird NeuroTrace vorgestellt, ein Programm zur interaktiven Segmentierung und Visualisierung neuronaler Prozesse in EM-Daten. Um die Qualität von abgebildeten EM-Daten zu verbessern, wird eine neue bedarfsorientierte und nichtlineare Rauschunterdrückung und Kantendetektierungsmethode beschrieben, die wichtige Strukturen in EM-Daten (z.B. myelinisierte Axone) hervorhebt, während weniger wichtige Regionen des Volumens ausgeblendet werden. Zusätzlich zu den oben beschriebenen Methoden und Konzepten, versucht diese Dissertation eine Brücke zwischen dem momentanen Stand der Forschung im Bereich der Volumenvisualisierung und deren Integration in tatsächliche medizinische und biomedizinische Anwendungen zu schlagen.<br />

Recent advances in image acquisition technology and its availability in the medical and bio-medical fields have lead to an unprecedented amount of high-resolution imaging data. However, the inherent complexity of this data, caused by its tremendous size, complex structure or multi-modality poses several challenges for current visualization tools. Recent developments in graphics hardware architecture have increased the versatility and processing power of today's GPUs to the point where GPUs can be considered parallel scientific computing devices. The work in this thesis builds on the current progress in image acquisition techniques and graphics hardware architecture to develop novel 3D visualization methods for the fields of neurosurgery and neuroscience. The first part of this thesis presents an application and framework for planning of neurosurgical interventions. Concurrent GPU-based multi-volume rendering is used to visualize multiple radiological imaging modalities, delineating the patient's anatomy, neurological function, and metabolic processes. Additionally, novel interaction metaphors are introduced, allowing the surgeon to plan and simulate the surgial approach to the brain based on the individual patient anatomy. The second part of this thesis focuses on GPU-based volume rendering techniques for large and complex EM data, as required in the field of neuroscience. A new mixed-resolution volume ray-casting approach is presented, which circumvents artifacts at block boundaries of different resolutions. NeuroTrace is introduced, an application for interactive segmentation and visualization of neural processes in EM data. EM data is extremely dense, heavily textured and exhibits a complex structure of interconnected nerve cells, making it difficult to achieve high-quality volume renderings. Therefore, this thesis presents a novel on-demand nonlinear noise removal and edge detection method which allows to enhance important structures (e.g., myelinated axons) while de-emphasizing less important regions of the data. In addition to the methods and concepts described above, this thesis tries to bridge the gap between state-of-the-art visualization research and the use of those visualization methods in actual medical and bio-medical applications.