Foot tracking in virtual reality

Abstract

Die Visualisierung der Gliedmaßen in Virtual Reality (VR) Umgebungen erlaubt den Benutzern eine höhere Immersion und gibt ihnen auch mehr Vertrauen in ihre eigenen Bewegungen. Leider werden diese Visualisierungen oft weg gelassen. Ein Grund liegt darin, dass große VR Umgebungen und solche mit mehreren Benutzern schwer mit sogenannten „outside-in“ Trackingmethoden zu realisieren sind, aufgrund von einer möglichen Verdeckung der Sensoren. Ein anderer Grund ist, dass Entwickler nicht ihre ohnehin kleine Benutzergruppe noch mehr eingrenzen wollen, indem sie ihnen teure Zusatzhardware aufzwingen, die so viel kostet wie normale Hand-Controller aber nur in einer Handvoll von Applikationen Verwendung finden. Diese Diplomarbeit will diesem Problem Einhalt gebieten indem eine einfache Trackingmethode vorgestellt wird, die nur eine Kopfposition von außen erhält und daher sowohl für „outside-in“ als auch „inside-out“ Trackingmethoden geeignet ist. Das System wird mittels einer RGB-Tiefenkamera realisiert, die auf dem VR Headset montiert wird. Fiducial-Marker- und Tiefen-Tracking sowie Inertialsensoren werden gemeinsam zur Abfrage der Fußposition verwendet. Diese, voneinander unabhängigen Systeme, werden dann zusammengeführt um die Vorteile der einzelnen Methoden zu vereinen. Die so erhaltenen Fußpositionen werden dann verwendet um einen virtuellen Avatar mithilfe von inverser Kinematik zu animieren.

The visualisation of limbs in Virtual Reality (VR) helps to get a better immersion in the virtual world and it creates better confidence in movement. Sadly a lot of VR applications omit the visualisation of limbs. One reason lies in technical difficulties with bigger scale VR environments and multi-user VR environments where you can not rely on outside-in tracking methods because of the size and possible occlusion that hinders accurate tracking data. Another reason is that developers do not want to exclude parts of their already small user base by demanding special hardware for foot tracking that costs as much as the hand controllers but is only usable in a small number of applications. This thesis tackles these problems by generating a lightweight tracking system that only relies on the correct tracking of the head position so that either inside-out or outside-in tracking can be used with it. To achieve this, a RGB depth camera is mounted on the VR headset. A combination of fiducial marker tracking, depth tracking and inertial measurement units (IMUs) are used to track the user’s feet. These individual tracking signals are then fused to one signal that combines the advantages of the single tracking systems. This tracking information can then be used to animate the feet of a virtual avatar with an Inverse Kinematics (IK) algorithm.