Scalable web-based multi-volume rendering

Abstract

Jüngste Fortschritte in Bildgebungsverfahren erlauben es umfangreiche volumetrische Datensätze mit einer großen Anzahl von Kanälen zu produzieren. Um solche Volumen interaktiv darzustellen, werden Out-of-Core Direct Volume Rendering (DVR) Methoden benötigt. Aus diesem Grund werden solche Datensätze zu einer Hierarchie mit mehreren Auflösungen herunterskaliert und diese jeweils in kleinere Bricks unterteilt, um nur jene Teile des Volumens, die zum dargestellten Bild beitragen, auf die GPU zu übertragen. Darüber hinaus erfordert das Rendering mehrerer Kanäle aufgrund des hohen Rechenaufwands für DVR sorgfältige Optimierung, da dieser mit der Anzahl der darzustellenden Kanäle steigt. Eine häufige Optimierung bei DVR ist Empty-Space Skipping, bei dem durchsichtige Bereiche im Volumen beim Rendern übersprungen werden. Frühere Out-of-Core-DVR-Methoden sind nicht für Volumen mit mehreren Kanälen konzipiert und für diese daher nur bedingt geeignet. Oktree-basierte Methoden erfordern für jeden Abtastpunkt und jeden Kanal das Traversieren des Baumes. Darüber hinaus ist in früheren Ansätzen die räumliche Unterteilung des Oktrees an die verfügbaren Auflösungen und die Bricking-Granularität im Datensatz geknüpft. Dies führt zu einer suboptimalen Cache-Nutzung und macht Empty-Space Skipping kostspielig. Page-Table Hierarchien hingegen ermöglichen den direkten Zugriff auf jeden Brick aus jeder Auflösung, ohne eine Baumstruktur zu traversieren. Die räumliche Granularität für Empty-Space Skipping ist hier jedoch ebenfalls an die Bricking-Granularität im Datensatz geknüpft. Wir stellen einen hybriden Volume-Rendering-Ansatz vor, der auf einem neuartigen Residenz-Oktree basiert. Dieser kombiniert die Vorteile von Page-Table Hierarchien mit jenen von klassischen Oktrees. Unser Ansatz entkoppelt die räumliche Unterteilung, die durch die Oktree-Struktur vorgegeben wird, von den Auflösungsstufen und der Bricking-Granularität im Datensatz. Anstatt dass jeder Knoten exakt einem Brick zugeordnet ist, wird jeder Residenz-Oktree-Knoten in jeder Auflösung mehreren Bricks zugeordnet. Dadurch ist es möglich, Auflösungen effizient und adaptiv auszuwählen und zu mischen, Abtastraten anzupassen und Cache-Fehlzugriffe zu kompensieren. Gleichzeitig erlauben Residenz-Oktrees flexibles Empty-Space Skipping, unabhängig der für das Caching verwendeten Bricking-Granularität. Wir haben unseren Ansatz mit WebGPU und WebAssembly als web-basierten, clientseitigen Renderer implementiert, um wissenschaftliche Zusammenarbeit zu erleichtern. Wir zeigen, dass unsere Methode Datensätze mit vielen Kanälen effizienter darstellt und GPU-Speicher besser nutzt als bisherige Methoden.

Recent advances in imaging modalities produce large-scale volumetric data sets with a large number of channels. Interactive visualization of such data sets requires out-of-core direct volume rendering (DVR) methods such as octrees or page-table hierarchies. For this reason, data sets are both down-sampled into a multi-resolution hierarchy and divided into smaller bricks, in order to stream only those parts of the volume contributing to the rendered image to the GPU. Furthermore, rendering multiple channels requires careful optimization because the high computational cost of DVR grows with the number of channels to render. A common optimization in DVR is empty-space skipping where fully translucent regions in the volume are not sampled to reduce the number of loop iterations and texture look-ups during rendering. Previous out-of-core DVR methods are designed for single-channel volumes and are only suitable for multi-channel volumes to a limited extent. In octree-based methods, accessing cached volume data requires traversing the tree for each sample and channel. Furthermore, in previous approaches, the spatial subdivision of the octree is intrinsically coupled to the down-sampling ratio and bricking granularity in the data set. This leads to suboptimal cache utilization and makes fine-grained empty-space skipping costly. Page-table hierarchies, on the other hand, allow access to any cached brick from any resolution without traversing a tree structure. However, their support for empty-space skipping is also tied to the bricking granularity in the data set and is thus limited. We present a hybrid multi-volume rendering approach based on a novel Residency Octree that combines the advantages of out-of-core volume rendering using page tables with those of standard octrees. We enable flexible mixed-resolution out-of-core multi- volume rendering by decoupling the cache residency of multi-resolution data from a resolution-independent spatial subdivision determined by the tree. Instead of one-to-one node-to-brick correspondences, each residency octree node is mapped to a set of bricks in each resolution level. This makes it possible to efficiently and adaptively choose and mix resolutions, adapt sampling rates, and compensate for cache misses. At the same time, residency octrees support fine-grained empty-space skipping, independent of the data subdivision used for caching. Finally, to facilitate collaboration and outreach, and to eliminate local data storage, our implementation is a web-based, pure client-side renderer using WebGPU and WebAssembly. Our method is faster than prior approaches and efficient for many data channels with a flexible and adaptive choice of data resolution.