On software design for augmented reality

Abstract

Augmented reality (AR) is an intriguing user interface technique that combines the properties of the real world with information processed by a computer. By augmenting the experience of the real world with computergenerated sensations, e.g. through the use of head mounted displays with optical combiners, virtual information can behave like a real object and users can leverage their knowledge of the real world to interact with that information. The development of augmented reality systems encompasses a large number of areas in computer science. Sensor technology is required to measure the state of the real world such as the position and gaze direction of a user. Advanced computer graphics are necessary to render convincing images of virtual information. Mobile applications with a focus on location-based information require large data sets to adequately model the large area they are deployed in. Finally, collaborative applications are implemented using distributed systems to support several users. Therefore, a comprehensive AR system needs to address all of these aspects and build upon a scalable design that combines the individual areas. The topic of this dissertation is a set of designs each of which address a part of an augmented reality system that combines collaborative and mobile applications. The individual designs focus on flexibility and high-level programmability to allow rapid incremental development of applications. The combination of high-level configurations with optimized implementations can provide the required performance while being flexible and extensible. The areas that have been addressed are configuration and manipulation of tracking inputs; flexible scene graph management combining visual and semantic model properties; a three-tier architecture managing and using large data sets with a data-driven application design; flexible session and space management for complex collaborative applications. The individual designs are implemented as part of the Studierstube framework and are demonstrated by a set of applications which focus on mobile augmented reality systems that provide location-based navigation aids and information displays to the user. These applications are based on a mobile AR setup developed for indoor and outdoor use. The setup is also shown in a set of collaborative applications supporting multiple mobile users. The combination of these designs allows for rapid development of flexible and scalable applications. A generic software architecture is presented to illustrate the optimal combination of the individual solutions into a coherent application. The architecture is demonstrated by a tourist guide system which incorporates mobile and collaborative aspects.

Augmented Reality (AR) - erweiterte Realitaet - ist eine User Interface-Technik, welche die Wirklichkeit mit computergenerierten Informationen verbindet. Die Wirklichkeit wird durch den Computer erweitert, z.B. durch Head Mounted Displays mit halbdurchlaessigen Spiegeln. Virtuelle Information verhaelt sich nun wie ein reales Objekt, und der Benutzer kann auf natuerliche Weise mit ihr interagieren. Die Entwicklung von AR-Systemen verbindet verschiedenste Gebiete der Informatik. Sensoren messen Ereignisse in der Wirklichkeit, z.B. die Position und Blickrichtung eines Benutzers. Anspruchsvolle Computergrafik wird benoetigt, um glaubwuerdige Bilder von virtuellen Informationen zu erzeugen. Mobile Anwendungen bauen auf positionsabhaengigen Informationen auf und verwenden daher große Datenmengen, um ein interessantes Gebiet abdecken zu koennen. Kollaborative Anwendungen setzten verteilte Systeme zur Realisierung ein um auf einfache Weise mehrere Benutzer bedienen zu koennen. Ein umfassendes AR-System muss alle diese Aspekte vereinen. Das Thema der vorliegenden Arbeit ist eine Reihe von Software-Designs, welche einzelne Bereiche eines mobilen und kollaborativen AR-Systems abdecken. Die einzelnen Designs streben eine flexible und einfache Programmierung an, um rasche Iterationen bei der Entwicklung von Applikationen zu erlauben. Durch die Kombination von einfachen Konfigurationen mit optimierten Implementation wird die erforderliche Performance ermoeglicht, ohne die Flexibilitaet einzuschraenken. Die einzelnen Bereiche sind folgende: die Konfiguration und Verarbeitung von Messdaten von Trackinggeraeten; eine flexible Szenegraphen-Architektur, welche visuelle und semantische Aspekte eines Modells verbindet; eine Three-Tier-Architektur fuer die Verwaltung von großen Datenmengen; ein flexibles Session- und Raum-Management fuer komplexe kollaborative Anwendungen. Jedes der Designs wurde als Teil des Studierstube Frameworks implementiert und wird durch einige Anwendungen veranschaulich, welche aus dem Bereich ortsabhaengiger Navigations- und Informationsvisualisierung stammen. Ein mobiles AR-System fuer Indoor- und Outdooreinsatz wurde als Basis dieser Applikationen entwickelt und wird auch in mehreren kollaborativen Anwendungen fuer mobile Benutzer eingesetzt. Die entwickelten Loesungen erlauben die schnelle Erstellung von flexiblen und skalierbaren Anwendungen. Eine allgemeine Softwarearchitektur wird beschrieben, welche die optimale Kombination der einzelnen Designs zu einer umfassenden Anwendung erleichtert. Diese Architektur wird schließlich eingesetzt um eine Touristenfuehrer-Anwendung zu implementieren, welche mobile und kollaborative Aspekte vereint.