Decoupling object manipulation from rendering in a thin client visualization system

Abstract

Nutzern von Visualisierungsanwendungen stehen häufig keine leistungsfähigen Systeme für rechenintensive Visualisierungsaufgaben zur Verfügung. Ein Remote Rendering der Visualisierung und der Einsatz eines Thin Clients (z.B. ein Web Browser) zur Darstellung der Resultate ermöglichen den Zugriff auf die Visualisierungen sogar von Geräten, die nicht für Grafikanwendungen geschaffen sind. In derartigen thin-client Konfigurationen erleidet jedoch die Flexibilität, die Daten interaktiv zu manipulieren, Einbußen. Dadurch wird eine sinnvolle Interaktion mit Datensätzen, die viele Objekte enthalten, erschwert. Besonders für In-Situ Visualisierungssysteme stellt die Möglichkeit zur direkten Interaktion mit den Daten eine Herausforderung dar. Wir lösen dieses Problem durch unseren Ansatz, die Berechnung der Visualisierung anhand einer Deferred Visualization Pipeline zwischen Client und Server aufzuteilen. Unser Client baut auf Webtechnologien auf (HTML5, JavaScript) und ermöglicht mittels der D3 Library interaktive datengesteuerte Visualisierungen. Wir führen eine Zwischenrepräsentation der Objekte ein, die die Daten, welche vom Server zum Client gesendet werden, beschreibt. Dabei führt der Server die rechenintensiven Teile der Pipeline durch, während der Client durch die Möglichkeit, ohne erneutes Rendering Objektmodifikationen vorzunehmen, Flexibilität bewahrt. Wir bezeichnen die Zwischenrepräsentation der Deferred Visualization als Volume Object Model. Dieses Modell besteht aus Metadaten und gerenderten Visualisierungen für jedes Objekt in einem Datensatz. Um selbst für große Datensätze die Interaktivität des Clients sicherzustellen, werden dem Client in einer Pre-Visualization Stufe zunächst nur die Metadaten übertragen. Dadurch kann der Anwender anhand der Metadaten eine Filterung der Daten vornehmen, wodurch die Komplexität der Visualisierung bereits vor dem Streaming der Bilddaten reduziert werden kann. Ist der Anwender mit der Filterung zufrieden, werden die Objektbilder vom Server angefordert. In Verbindung mit den Metadaten kann so die finale Visualisierung aus den Bildern zusammengesetzt werden. Zudem können alle Objekte der Visualisierung untersucht und mittels einer integrierten Konsole programmiert werden. Zusammenfassend gestattet unser System dem Nutzer, voll interaktive objektbezogene Visualisierungsschritte in einem Web Browser vorzunehmen, ohne ein aufwendiges erneutes Rendern am Server zu erfordern.

Often, users of visualization applications do not have access to high performance systems for the computationally demanding visualization tasks. Rendering the visualization remotely and using a thin client (e.g. a web browser) to display the result enable the users to access the visualization even on devices that do not target graphics processing. However, the flexibility to manipulate the data set interactively suffers in thin-client configurations. This makes a meaningful interaction with data sets that contain many different objects difficult. This is especially true in in-situ visualization scenarios, where direct interaction with the data can be challenging. We solve this problem by proposing an approach that employs a deferred visualization pipeline to divide the visualization computation between the client and the server. Our thin client is built on web technologies (HTML5, JavaScript) and is integrated with the D3 library to enable interactive data-driven visualizations. An intermediate representation of objects is introduced which describes the data that is transferred from the server to the client on request. The server side carries out the computationally expensive parts of the pipeline while the client retains extensive flexibility by performing object modification tasks without requiring a re-rendering of the data. We introduce a novel Volume Object Model as an intermediate representation for deferred visualization. This model consists of metadata and pre-rendered visualizations of each object in a data set. In order to guarantee client-side interactivity even on large data sets, the client only receives the metadata of all objects for a pre-visualization step. By allowing the user to perform filtering using the metadata alone, the complexity of the requested visualization data can be reduced from the client side before streaming any image data. Only when the user is satisfied, the object images are requested from the server. In combination with the metadata, the final visualization can then be reconstructed from the individual images. Moreover, all objects in the visualization can be investigated and changed programmatically by the user via an integrated console. In summary, our system allows for fully interactive object-related visualization tasks in a web browser without triggering an expensive re-rendering on the server.