Interaction in dense one-handed handheld augmented reality

Abstract

Die rasch fortschreitende Entwicklung mobiler Endgeräde erlaubt die Echtzeit Darstellung von vielen 3D Modellen in mobilen Augmented Reality (AR) Anwendungen. Obwohl bereits viele AR Anwendungen für mobile Endgeräte verfügbar sind, bleiben diese in Bezug auf dessen Interaktivität, verglichen mit Desktop AR Anwendungen, eingeschränkt. Wichtige Interaktionen in AR Umgebungen sind die einfache Erstellung von 3D Modellen, präzise Selektion sowie die Manipulation in 6 Freiheitsgraden (6DOF) von virtuellen Objekten. Aufgrund der ungenauen Eingabe des Berührungsbildschrims, der geringen Bildschrimgröße und komplexer Berührungsgesten sind alle drei Interkationen, in einhändigen Anwendungen mobiler AR, Einschränkungen unterworfen. In dieser Arbeit werden neue einhändige Interaktionstechniken (IT) zur Modellierung, Selektion und Manipulation von virtuellen Inhalten präsentiert. Eine IT zur einfachen polygonalen Modellierung wird vorgestellt. Die Interaktionstechnik erlaubt die Echtzeit Formerfassung von Hand gezeichneter Formen, um diese anschließend durch Perspective Driven Modeling mittels Extrusion oder Drehung in einer AR Umgebung als Körper zu modellieren. Die neue Selektionstechnik DrillSample, speziell entwickelt zur präzisen Auswahl und Unterscheidung von virtuellen Objekten, wird präsentiert und gegenüber modernen Selektionstechniken bewertet. Beim Entwurf von DrillSample standen die Bedienung durch einfache Berührungsgesten sowie der Erhalt des virtuellen Kontextes einer Mehrfachselektion, zum Zweck der Objektunterscheidung, im Vordergrund. Zwei neue und konkurrierende Manipulationstechniken, 3DTouch und HOMER-S, zur intuitiven Translation, Rotation und Skalierung von virtuellen Objekten werden vorgestellt. Das Hauptaugenmerk bei der Entwicklung von 3DTouch liegt auf der einfachen Bedienung mittels Berührungseingabe und der Reduktion der gleichzeitig manipulierbaren Freiheitsgrade. Je nach gewählter Betrachtungsperspektive zum manipulierenden Objekt, sind unterschiedliche Freiheitsgrade zugänglich. HOMER-S ermöglicht hingegen die gleichzeitige Manipulation von bis zu 6 Freiheitsgraden und vermeidet die Berührungseingabe gänzlich, indem die räumliche Position und die Orientierung des mobilen Endgerätes auf das zu manipulierende Objekt abgebildet werden. Beide Techniken wurden in einer detaillierten Benutzerstudie und anschließender statistischer Auswertung untersucht.

The rapid improvement of handheld hardware devices enable real-time rendering of a large number of 3D models in handheld augmented reality (AR) environments. Although there are already many AR applications available for handheld devices, they often remain limited regarding their degree of interactivity compared to desktop AR applications. Important interactions in AR environments are the effortless creation of 3D models, precise selection and six-degree-of-freedom (6DOF) manipulation of virtual objects. Due to the imprecise input of the touch interface, the small screen size and complex touch gestures, all three interactions suffer in one-handed handheld AR setups of different limitations. In this thesis novel one-handed handheld interaction techniques for modeling, selection and manipulation of virtual content are introduced. A simple polygonal modeling technique is presented that uses real-time shape detection to collect handdrawn shapes that are used for Perspective Driven Modeling by extrusion or lathing in an AR environment. The novel selection technique DrillSample, designed particularly for the precise selection and disambiguation of virtual objects, is evaluated against state of the selection techniques. DrillSample is inspired of taking a core sample, e.g. of earth sediments, and designed with a focus on simple touch input and virtual context preservation. Two new and competing manipulation techniques, 3DTouch and HOMER-S, for the intuitive translation, rotation and scaling of virtual objects are introduced. 3DTouch focuses on simple touch input and degree of freedom separation, down to a single DOF, making the different DOF easily accessible from different view perspectives. HOMER-S on the other hand provides integral manipulation up to 6DOF and avoids touch input completely by mapping the handheld-s device pose to the manipulated object. Both techniques are evalulated in a thorough user study followed by a statistical evaluation.