Studierstube: a collaborative virtual environment for scientific visualization

Abstract

This thesis describes Studierstube Workspace, an application framework for collaborative visualization in Augmented Reality. We develop a concept for a collaborative working environment that simultaneously supports multiple users as well as multiple applications and in multi-tasking. The co-presence of multiple users interacting with multiple concurrently executing applications opens up new possibilities in the field of collaborative work. We describe how multiplicity in the interaction paths is used to implement the necessary underlying mechanisms and report on strategies and experiences regarding the development of multi-user aware applications. Augmented Reality overlays computer generated images over the real world. To correctly depict spatial relations between real and virtual objects - the so-called registration - these images have to be generated using transformations which correctly project a point in virtual space onto its corresponding point in the real world. We present a simple and fast calibration scheme, which does neither require additional instrumentation nor complicated procedures. This allows us to calibrate the virtual environment for specific users. The user is interactively guided through a series of simple initialization steps, which allows even inexperienced users to adapt the calibration to their eye distance and head geometry. To further improve the registration between real and virtual objects we describe a method for correcting the distortions introduced by the camera lens in real-time using standard OpenGL hardware. A simple technique for registering tracked objects to their augmentations is also introduced. The quality and consistency of the augmentation also depend on the correct occlusion of real objects by computer-generated objects and vice versa. We developed methods that are not only appropriate for a tracked users body and other real objects but also manage to reduce irritating artifacts due to misregistrations. Our technique is based on simulating the occlusion of virtual objects by a virtual representation of the real object. The user is modeled as kinematic chains of articulated solids which is used for occlusion. Registration and modeling errors of this model are reduced by smoothing the border between virtual world and occluding real object. We demonstrate the validity of our concept of collaborative visualization in a virtual environment with the integration of our virtual environment into a commercial visualization system and illustrate it with several visualizations of dynamical systems. To integrate the properties of our environment into the process of scientific visualization we created animated, opacity-mapped streamlines as visualization icon for realtime 3D flow visualization. We present a texture mapping technique to keep the level of texture detail along a streamline nearly constant even when the velocity of the flow varies considerably and describe an algorithm which distributes the dashtubes evenly in space. Magic lenses and magic boxes are applied as interaction techniques for investigating volumes filled densely with streamlines without overwhelming the observer with visual detail. We present applications of Studierstube in a number of different areas and collaborations with other research institutes already using Studierstube. An extensive evaluation of the performed work regarding its applicability on scientific visualization and its properties as a new concept for collaborative work in virtual reality concludes the thesis.

Diese Arbeit beschreibt den Studierstube Workspace, eine interaktive Arbeitsumgebung für kollaborative Visualisierung in Augmented Reality. Wir erarbeiten Konzepte für einen kollaborativen Arbeitsbereich, in dem mehrere Benutzer gleichzeitig verschiedene Anwendungen bedienen können. Das gemeinschaftliche Arbeiten der Benutzer innerhalb eines Raumes mit mehreren gleichzeitig ablaufenden Anwendungen eröffnet völlig neue Möglichkeiten der Kollaboration und Interaktion. Wir beschreiben, wie multiple Interaktionspfade zur Implementierung der zugrundeliegenden Mechanismen genutzt wurden, und berichten über Strategien und Erfahrungen im Umgang mit und der Entwicklung von Multi-Anwender Applikationen. Augmented Reality besteht aus der Überlagerung von computergenerierten Bildern über die Wirklichkeit. Um die räumlichen Abhängigkeiten zwischen reellen und virtuellen Objekten - die sogenannte Registrierung - korrekt darstellen zu können, müssen diese Bilder unter Verwendung von Transformationen erstellt werden, die einen Punkt im virtuellen Raum genau auf seinen Konterpart in der Realität abbilden. Dazu präsentieren wir ein einfaches und schnelles Kalibrationsverfahren, welches keine zusätzlichen Meßgeräte oder komplizierte Prozeduren erfordert. Der Benutzer wird dabei interaktiv durch eine Reihe von einfachen Schritten geleitet, welche ihm eine Anpassung der Transformationen auf seinen Augenabstand und seine Kopfabmessungen erlauben. Eine weitere Verbesserung der Registrierung wird durch unsere Methode zur Korrektur von Linsenverzerrungen erzielt. Wir benutzen dazu Standard OpenGL Hardware, welche eine Entzerrung in Echtzeit ermöglicht. Weiters wird eine Technik um bewegliche, vom Computer verfolgbare Gegenstände zu ihren virtuellen Repräsentationen zu registrieren. Die Qualität und Konsistenz der virtuellen Umgebung hängt auch von der korrekten Verdeckung von virtuellen durch reelle Gegenstände und umgekehrt ab. Wir haben ein Verfahren entwickelt, das nicht nur für den Körper eines Benutzers und vom Computer verfolgbare Gegenstände anwendbar ist, sondern darüber hinaus noch irritierende Effekte aufgrund mangelhafter Registrierung reduziert. Unser Verfahren basiert auf der simulierten Verdeckung von virtuellen Objekten durch virtuelle Repräsentationen realer Objekte. Benutzer werden durch kinematische Ketten simuliert, welche dann zur Verdeckung herangezogen werden können. Wir demonstrieren die Gültigkeit unseres Gesamtkonzeptes der kollaborativen Visualisierung innerhalb einer virtuellen Umgebung durch die Einbindung eines kommerziellen wissenschaftlichen Visualisierungssystems in unsere Arbeitsumgebung. Mehrere Anwendungsbeispiele zur Visualisierung dynamischer Systeme illustrieren unser Konzept. Um die speziellen Eigenschaften der virtuellen Realität in die Visualisierungsmöglichkeiten des Gesamtsystems einfließen zu lassen, haben wir animierte, strichlierte Strömungslinien entwickelt. Dazu präsentieren wir eine texture-mapping Technik, welche die Details entlang jeder Strömungslinie auch bei stark variierender Flußgeschwindigkeit konstant hält. Weiters wird gezeigt, wie man eine gleichmäßige Verteilung der Strömungslinien im Raum erzielt. 'Magische' Lupen und 'magische' Kisten werden als spezielle Interaktionmethoden zur Erforschung dicht mit Strömungslinien gefüllter Volumina verwendet. Dadurch wird eine Überforderung des Benutzers mit visuellen Details vermieden. Wir geben einen Überblick über die Anwendung von Studierstube in verschiedenen Bereichen. Weiters wird gezeigt, wie verschiedene andere Forschungsinstitutionen Studierstube verwenden. Eine umfangreiche Evaluation der geleisteten Arbeit in Bezug auf ihre Anwendbarkeit auf wissenschaftliche Visualisierung und ihrer Eigenschaften als neuartiges Konzept für kollaboratives Arbeiten innerhalb der virtuellen Realität rundet die Ausführungen inhaltlich ab.