Virtual Reality Menü Interaktion mit einer Smartwatch

Abstract

In immersiven virtuellen Umgebungen werden Benützer in Virtual Reality (VR) Simulationen versetzt. In solchen Umgebungen werden Menüs gebraucht, um den Systemzustand zu ändern, verschiedene Tools (Werkzeuge) auszuwählen oder bestimmte Kommandos zu geben. Allerdings kann es bei der Interaktion mit solchen Menüs zu Schwierigkeiten kommen, da die Benützer Head Mounted Displays tragen und somit nicht in der Lage sind, physische Eingabegeräte zu sehen. Deswegen muss die Interaktion mit denselben intuitiv und einfach zu erlernen sein. In dieser Diplomarbeit wird eine Möglichkeit vorgestellt, ein VR Menü mit der Hilfe einer Smartwatch über ein Wireless Local Area Network zu steuern. Dafür wird ein Plugin für die Unreal Engine 4 Spiele-Engine implementiert. Dieses Plugin enthält Komponenten, die mit einer Smartwatch gesteuert werden können. Weiters wird eine Android Wear Applikation erstellt, die es ermöglicht, mit Hilfe von Touch-Interaktion die Komponenten zu steuern. Die Applikation und das Plugin werden letztendlich mit der Hilfe von einem der vier erstellten Test-Menüs einem Leistungstest unterzogen, um etwaige Auswirkungen auf die Hardware zu entdecken. Die Ergebnisse zeigen, dass die Leistung durch die Implementationen nicht eingeschränkt wird.

In immersive virtual environments users are placed inside virtual reality (VR) simulations. In such systems, menus are needed to change the system state, change tools or issue commands. However interacting with these menus in VR can be cumbersome, since input devices are not seen by the user due to the Head Mounted Displays. Therefore interaction needs to be simple and easy to adopt to. This diploma thesis presents a possibility to navigate VR menus with the help of a smartwatch over a WLAN. For this, a plugin for the UE4 game engine is implemented which contains components to create a smartwatch controllable menu. Furthermore an Android Wear application is designed and implemented to enable plug-and-play navigation of the menu via touch interaction. The resulting applications and the plugin are then tested to detect any issues regarding performance impact, with the help of one of four created example menus. The results reveal that performance is not affected considerably.