Hybrid tracking technology for virtual rock climbing

Abstract

Virtual Reality (VR) Anwendungen entkoppeln die Benutzer von der realen Welt, indem sie vollständig in eine künstliche Umgebung eingehüllt werden. Mithilfe einer VR-Brille und schallisolierter Kopfhörer wird die visuelle und auditive Wahrnehmung auf den virtuellen Inhalt der Simulation beschränkt. Die meisten Applikationen unterlassen die Darstellung der Gliedmaßen innerhalb des virtuellen Erlebnisses. Sobald die Anwendung jedoch die Interaktion mit realen Objekten erfordert, muss die Simulation um dieses Merkmal erweitert werden. Ermöglicht wird dies durch ein Motion Capture System, welches die Position und Pose der Hände und Füße in Echtzeit bestimmt und an die Applikation übergibt. Diese Diplomarbeit beschreibt die Entwicklung des VreeTrackers, eines hybriden Tracking-Systems, das optische Positionserkennung mit sensorbasierter Lagebestimmung kombiniert. Weiters ermittelt der entwickelte Prototyp die Handpose mithilfe eines markerlosen Ansatzes. Der VreeTracker ist Teil einer virtuellen Kletteranwendung namens VreeClimber. Der VreeClimber ist eine VR-Kletterwand, welche die Sicherheit einer Simulation und die haptische Interaktion mit realen Objekten verknüpft. Als Grundvoraussetzung wird bestimmt, dass alle Hardwarekomponenten günstige und leicht verfügbare Geräte sind. Erforderliche Modifikationen an gekauften Produkten und die eigenständige Neuentwicklung individueller Hardwarekomponenten sind neben der Implementierung der Tracking-Software zwei grundlegende Aufgabenbereiche des Projekts.

Virtual reality applications detach the user from the real world by fully immersing the person into an artificial environment. With the help of a head-mounted display and soundproof headphones, the visual and auditory senses are limited to the virtual content provided by the simulation. Most applications refrain from representing the user’s limbs in the virtual experience. However, if the application requires the participant to interact with real objects, this feature can no longer be omitted. To allow an accurate representation of the extremities within the simulation, the position and pose of the hands and feet need to be determined in real-time by a motion capture system. This diploma thesis discusses the development of the VreeTracker, a hybrid tracking system that combines optical position tracking with inertial orientation sensing. Furthermore, the resulting prototype estimates the hand pose by a markerless approach. The VreeTracker is embedded in a virtual rock climbing adventure called VreeClimber. The VreeClimber consists of an indoor climbing wall that couples the safety of a virtual simulation and the haptic interaction with real objects. As a prerequisite, all necessary hardware components of the tracking system need to be affordable, easily available off-the-shelf devices. Therefore, in addition to implementing the tracking software, the development process includes all necessary modifications of said consumer products as well as the development of individual hardware components.