Hand simulation for virtual climbing

Abstract

Virtual Reality (VR) Anwendungen ermöglichen es den Usern, in eine virtuelle Welt einzutauchen. Bei aktuellen VR-Systemen tragen die Benutzer eine VR-Brille und können anhand von Controllern mit der virtuellen Welt interagieren. Die Controller eignen sich für eine Vielzahl von Anwendungen, allerdings können sie etwa nicht verwendet werden, wenn die Benutzer mit realen Objekten interagieren sollen. Ein Beispiel für eine Anwendung dieser Art ist das VreeClimber-Projekt. Es kombiniert eine bewegliche Kletterwand mit VR Klettern. Nachdem die Hände der User während des Kletterns auch in der virtuellen Welt sichtbar sein sollten, wird ein optisches Tracking-System zum Erfassen der aktuellen Positionen der Hände verwendet. Im Rahmen dieser Diplomarbeit wurden zwei Software-Komponenten für das VreeClimber Projekt erstellt. Zuerst wurde die Software von einem bereits entwickelten Tracking- System namens VreeTracker mit Hilfe der Computer-Vision-Bibliothek OpenCV neu umgesetzt. Während dem Erstellen dieser Software wurde mit dem Vive Tracker eine erschwingliche Hardwarelösung vorgestellt, welche ebenfalls zum Tracken der Gliedmaßen eingesetzt werden kann. In der Evaluierung wurden die Genauigkeit der beiden Tracking- Systeme durch verschiedene Tests miteinander verglichen. Da die User während des Kletterns ihre eigenen Hände nicht sehen können, wurde im zweiten Teil dieser Arbeit ein Algorithmus entwickelt, welcher mit Hilfe der erfassten Positionen die Handbewegungen der Kletterer in der virtuellen Welt nachstellt. Die entwickelte Handsimulation zeigt vielversprechende Ergebnisse bei typischen Griffbewegungen während des Kletterns, speziell aber bei schnellen Bewegungen oder bei kleinen Klettergriffen kann es zu Abweichungen gegenüber der echten Hand kommen. Eine wichtige Voraussetzung ist die sorgfältige Kalibrierung vor dem Starten des Kletterns, da andernfalls die Positionen der echten und der virtuellen Klettergriffe voneinander abweichen können, wodurch das virtuelle Klettererlebnis gegebenenfalls verschlechtert wird. Die Evaluierung hat gezeigt, dass der Vive Tracker bessere Ergebnisse erzielt als das vorher entwickelte VreeTracker System. Aufgrund der höheren Präzision und der einfachen Integration in das bereits verwendete VR System, macht es Sinn, in Zukunft Vive Tracker bei dem VreeClimber Projekt einzusetzen. Generell schnitt die virtuelle Handsimulation bei der Evaluierung gut ab, es wurden aber auch kleinere Schwachstellen in Bezug auf Griffbewegungen einzelner Finger festgestellt. Nach einer kurzen Analyse werden in dieser Diplomarbeit entsprechende Verbesserungsvorschläge präsentiert.

VR applications enable users to immerse into a virtual world. In current VR systems, users wear a Head-Mounted Display (HMD) and can use handheld controllers to interact with the virtual world. The controllers are suitable for a variety of applications, but they cannot be used if users are to interact with real objects. An example for such an application is the VreeClimber project. It combines a moveable climbing wall with VR climbing. Since the hands of the users should also be visible in the virtual world during climbing, an optical tracking system is used to capture the hand positions in real time. In the course of this thesis, two software components were created for the VreeClimber project. At first, the software of an already developed tracking system called VreeTracker was rewritten with the computer vision library OpenCV. During the development of this software, the affordable Vive Tracker was released, which can also be used to track extremities. The evaluation compares the accuracy of the two tracking systems by different tests. Since the users are not able to see their own hands during climbing, an algorithm was created in the second part of this thesis, which uses the detected hand positions to simulate the hand movements of the climbers. The developed hand simulation shows promising results for typical grasp movements during climbing, however especially fast movements or small climbing holds can result in deviations from the real hand pose. An important requirement is an accurate calibration before climbing, otherwise the positions of the real and virtual climbing holds may differ, which reduces the climbing experience significantly. The evaluation shows that the commercial Vive Tracker achieves better results than the previously developed VreeTracker system. Due to better precision and an easy integration into the already used VR system, it makes sense to use the Vive Tracker for the VreeClimber project in the future. In general, the virtual hand simulation performed well in the evaluation, however minor flaws in the grasp movements of individual fingers have been revealed. After a short analysis, appropriate suggestions for improvement have been presented in this thesis.