Context-responsive labeling in augmented reality

Abstract

Routenplanung ist eine häufig gestellte Aufgabe. Dafür sind nähere Informationen zu den Zielpunkten erforderlich. In der erweiterten Realität (oder Augmented Reality, AR) können diese Informationen mittels Beschriftungen für den Benutzer in einer realen Umgebung angezeigt werden. Die Darstellung mehrerer Beschriftungen auf einem mobilen Gerät kann jedoch zu unerwünschten Verdeckungen führen. Hierbei sind Strategien erforderlich, welche auftretende Verdeckungsprobleme der Beschriftungen lösen, den angezeigten Detailgrad bestimmen und notwendige Aktualisierungen kohärent umsetzen, wenn sich der Benutzer bewegt oder den Blickwinkel ändert. Kohärente Anpassungen der Beschriftungspositionen spielen eine essenzielle Rolle, um die Wahrnehmung und den Entscheidungsprozess der Benutzer zu unterstützen. Unser Ziel ist die Entwicklung einer Strategie, welche die Sichtbarkeit der Beschriftungen und den angezeigten Detailgrad bestimmt sowie unerwartete Bewegungen der Beschriftungen minimiert. Um dies zu erreichen, führen wir drei Ansätze ein, darunter (1) Sichtbarkeitsmanagement, (2) Detailgradmanagement und (3) Kohärenzmanagement. Die schnelle Behandlung von Beschriftungsverdeckungen wird mittels eines Greedy-Algorithmus umgesetzt. Verschiedene Detailgrade für Beschriftungen werden in AR angeordnet. Eine 3D Szenenmanipulation wird durchgeführt, um inkohärente Beschriftungsbewegungen zu unterdrücken, die durch Änderungen des Blickwinkels des Benutzers entstehen. Wir zeigen die Anwendbarkeit unserer Strategie anhand eines künstlich generierten Szenarios und zweier realer Szenarien, gefolgt von einer qualitativen Nutzerstudie.

Route planning is a common task that often requires additional information on Points-of-Interest (POIs). Augmented Reality (AR) enables mobile users to explore text labels and provides a composite view associated with additional information in a real-world environment. Displaying all labels for Points-of-Interest on a mobile device will lead to unwanted overlaps, and thus a context-responsive strategy to properly arrange labels is expected. This framework should consider removing overlaps, the correct Level-of-Detail to be presented, and also label coherence. This is necessary as the viewing angle in an AR system may change frequently due to users' behaviors. The consistency of labels plays an essential role in retaining user experience and knowledge, as well as avoiding motion sickness. In this thesis, we aim to develop an approach that systematically manages label visibility and Levels-of-Detail, as well as eliminates unexpected incoherent label movement. To achieve this, we introduce three label management strategies, including (1) Occlusion Management, (2) Level-of-Detail Management, and (3) Coherence Management. A greedy approach is developed for fast occlusion handling. A Level-of-Detail scheme is adopted to arrange various types of labels in AR. A 3D scene manipulation is built to simultaneously suppress the incoherent behaviors induced by the changes of viewing angles. Finally, we present our approach's feasibility and applicability by demonstrating one synthetic and two real-world scenarios, followed by a qualitative user study.