The personal interaction panel - a two-handed interface for augmented reality

Abstract

The way we perceive the rapidly expanding information environment will change dramatically over the next years. Augmented Reality research offers a smooth immersion into this parallel world, by overlaying spatially aligned three-dimensional computer-generated information onto a human's view. However, to manipulate the perceived information new types of interfaces are needed that are smoothly integrated at the border of our real world and the information space. For the interaction with this virtual content the Personal Interaction Panel (PIP), a two-handed interface for Augmented Reality is introduced. The underlying design idea employs existing human skills for the interaction in a new environment, so that the interaction task itself does not induce additional cognitive load on the user. The careful conception of the PIP interface ensures that it conforms to previous results in bimanual action and benefits from the observations of this research field. The results of the analysis of existing methods to interact in Augmented Reality are summarized as Basic Design Guidelines. These guidelines are the basis for the theoretical formulation and conception of the proposed interface. A wide spectrum on different metaphors is presented that benefit from the underlying interface design and thus improves the user's interaction abilities. The implementation of the described theoretical research and the field-testing in a number of application scenarios helped to prove the described ideas. Using the experience gained from this work, the interface was applied to different environments with divers demands. The influences from these experiments helped to recognize the universal character of the Personal Interaction Panel, and to conclude that the PIP interface can be a general tool for interacting with virtual content in many different environments.

Die Art und Weise, wie wir mit dem staendig wachsenden Informationsraum, der uns umgibt umgehen wird sich in den naechsten Jahren dramatisch aendern. Die Forschung auf dem Gebiet der Augmented Reality bietet eine sanfte Methode sich dieser parallelen Welt zu naehern. Sie ueberlagert den menschlichen Blick mit dreidimensionaler computer-generierter Information, die raeumlichen Bezug hat. Um diesen wahrgenommenen Informationsraum beeinflussen zu koennen werden neue Schnittstellen gebraucht, die an der Grenze zwischen realer- und virtueller Welt angesiedelt sind. Diese Arbeit traegt zu dieser Problemstellung mit der Einfuehrung des Personal Interaction Panels bei. Dem zweihaendigen Interface liegt die Idee zu Grunde, dass existierende menschliche Faehigkeiten verwendet werden, um auf eine neue Umgebung einzuwirken. Ziel ist auch, dass die Manipulation selbst keine kognitive Belastung darstellt, sodass sich der Benutzer auf die eigentliche Aufgabe konzentrieren kann. Das sorgfaeltige Konzept sichert, dass die vorgestellte Schnittstelle vorangegangenen Erkenntnissen aus dem Bereich der beidhaendigen Interaktion entspricht und von dessen Resultaten profitiert. Die Ergebnisse der Untersuchung anderer Interaktionsmethoden in Augmented Reality Umgebungen wurden als Leitfaden zum Entwurf neuer Schnittstellen zusammengefasst. Diese Richtlinie liegt auch der theoretischen Formulierung und Ausarbeitung der vorgestellten Schnittstelle zu Grunde. Ein breites Spektrum an Anwendungsmoeglichkeiten wird vorgestellt. Diese profitieren vom Interfacedesign und erweitern so die Interaktionsfaehigkeiten des Benutzers. Die beschriebenen Ideen konnten mit Hilfe von verschiedenen Implementierungen und der Erprobung im praktischen Einsatz belegt werden. Mit Hilfe der gewonnenen Erfahrungen konnte die Schnittstelle auch in anderen virtuellen Umgebungen eingesetzt werden. Die Erkenntnisse dieser Experimente verhalfen zum Erkennen der Universalitaet des Personal Interaction Panels. Daraus resultierend wurde festgestellt, dass die PIP-Schnittstelle als allgemeines Werkzeug fuer die Handhabung von virtuellen Inhalten in verschiedensten Szenarien betrachtet werden kann.