Robust wide-area tracking and intuitive 3D interaction for mixed reality environments

Abstract

Mischrealitäten, als durch den Computer simulierte dreidimensionale Umgebungen, sind seit vielen Jahren Bestandteil der Forschung. In jüngster Zeit hat das Aufkommen von leistungsfähigen und kostengünstigen Recheneinheiten sowie Ein- und Ausgabegeräten zu gesteigerten Bemühungen geführt, Mischrealitäten verstärkt in Alltagssituationen einzusetzen. Dies jedoch führt zu einer Vielzahl von Herausforderungen, da für deren Entwicklung robuste Techniken und Kenntnisse in Lokalisation, Visualisierung, Interaktion und optional Verteilung erforderlich sind. Der wissenschaftliche Beitrag dieser Dissertation umfasst neue Techniken und Algorithmen für Lokalisation, Interaktion und Anwendungsentwicklung von Mischrealitäten. Im ersten Teil dieser Arbeit wird ein neues Lokalisierungssystem vorgestellt, das in Innenräumen auf Distanzen von bis zu 90m die 3D Position von mit visuellen Markierungspunkten ausgestatteten Objekten bestimmen kann. Das System ist hierbei sowohl während Kamerakalibrierung wie auch Lokalisierung robust gegenüber visuelle Störeinüssen der Umgebung, wie beispielsweise statische und bewegte Lichtquellen und Verdeckungen. Der zweite Teil dieser Arbeit beschäftigt sich mit Mensch-Maschine-Interaktion in dreidimensionalen Systemen, im speziellen in mobilen Mischrealitäten mit berührungssensitiven Bildschirmen. Um die Schwächen bestehender 3D Interaktionstechniken zu beheben, werden die neue Algorithmen DrillSample für Objektselektion, sowie 3DTouch und Homer-S für Objektmanipulation vorgestellt. Die drei Techniken zielen allesamt auf leicht verständlich und einfach einfach zu bedienende Interaktionen ab, indem sie notwendige BenutzerInneneingaben reduzieren und die Position sowie Orientierung des mobilen Endgeräts miteinbeziehen. Dadurch können mit lediglich einem Finger präzise teils oder gänzlich verdeckte Objekte ausgewählt werden, und mit keinen, einen oder zwei Fingern Objekte verschoben, gedreht und skaliert werden. Im dritten dieser Arbeit wird das neue Softwareframework ARTIFICe vorgestellt, das die Erkenntnisse der ersten beiden Teile einbezieht und der einfachen Erstellung von hochwertigen Mischrealitäten dient. Es stellt der BenutzerIn hierfür eine übersichtliche Benutzeroberäche zur Verfügung, über die man auf Techniken und Hardwareschnittstellen für Lokalisation, Interaktion, Visualisierung und Verteilung zugreifen kann. Der vorgestellte wissenschaftliche Beitrag zielt darauf ab, die Erstellung und Bedienung von Mischrealitäten im Alltag zu vereinfachen und zu fördern.

Mixed reality has been a focus of research for many years and has recently gained particular importance with the emergence of powerful, low-cost input- and output devices as well as processing platforms that foster the applicability of virtual simulations for everyday usage. However, this leads to signicant challenges since the creation of compelling mixed reality environments requires knowledge and robust techniques in the areas tracking, visualization, interaction and in the non-obligatory areas distribution and authoring. This thesis focuses on the development of novel techniques and algorithms to contribute to the solution of fundamental problems in the areas of tracking, interaction, and application development of mixed reality systems. Firstly, a novel system for wide-area optical tracking in unconstrained indoor environments is presented that is capable of stereo camera calibration and model-based tracking of rigid-body targets in environments with poor illumination, static and moving ambient light sources, occlusions and harsh conditions, such as fog. The experimental results demonstrate the system's capabilities to track targets up to 90m and its applicability to act as a mixed reality tracking system as well as a general purpose measurement tool for future (underground) surveying tasks, such as autonomous machine guidance. Secondly, we investigated concepts for intuitive 3D interaction in virtual environments, specically in one-handed handheld mixed reality. To address the shortcomings of state-of-the art 3D selection and manipulation techniques, the novel algorithms DrillSample for selection, and 3DTouch and HOMER-S for manipulation are proposed. All three approaches aim at reducing the necessary input through the user's ngers to provide easy to understand and straightforward interaction. Therefore, they incorporate the 6-degree-of-freedom pose that is obtained through optical tracking, resulting in a one-finger interaction for precise selection of partly or fully occluded objects with high visual similarity. Thirdly, the novel software framework ARTIFICe is presented that facilitates the development of compelling mixed reality environments. It aims at minimizing the initial hurdles of application development as it is inexpensive and provides a powerful graphical interface to easily access and author tracking, interaction, visualization and distribution. With the presented contribution, we aim at leveraging the applicability of mixed reality into unconstrained everyday environments that are used by non-experts.