VRNet - a framework for multi-user virtual reality

Abstract

Mehrbenutzer-VR-Anwendungen sind herausfordernd zu entwickeln und zu warten. Ihnen gegenüber besteht die Anforderung höchst reaktionsschnell sein zu müssen, damit kein Unwohlsein für die Nutzer erzeugt wird. Bei Netzwerkübertragungen können zusätzlich Probleme auftreten, wie Verzögerungen und Verbindungsabbrüche, welche berücksichtigt werden müssen. Das Ziel dieser Arbeit ist es das Framework VRNet zu designen und zu implementieren, mit dem die notwendigen Werkzeuge, um Mehrbenutzer-VR-Anwendungen zu entwickeln, bereitgestellt werden. Game Engines, wie Unreal Engine 4 (UE4), eignen sich um komplexe Multiplayer 3D Anwendungen zu entwickeln, jedoch ist das zugrundeliegende Networking-System nicht für lokale Mehrbenutzer-VR-Anwendungen ausgelegt. Unser Ansatz ist es, VRNet auf der Basis von UE4 zu entwickeln und um wichtige Funktionalitäten zu erweitern. VRNet ist als Code-Plugin konzipiert, welches Kernklassen von UE4 in C++ erweitert und einfach in UE4-Projekte integriert werden kann. Die bereitgestellten Funktionalitäten umfassen die effiziente Übertragung von Nutzerdaten, wie Positionsdaten und Repräsentation, sowie die Interaktion mit der virtuellen Umgebung. Als Kernelement in der Umsetzung wird Client-Authoritative Replikation eingesetzt um die Konsistenz zwischen Maschinen sicherzustellen, während Nutzer bestmöglich vor Netzwerkeinflüssen geschützt werden. Zur flüssigen Simulation anderer Clients und Objekten werden Interpolierungsmechanismen bereitgestellt. Als zweiten praktischen Teil dieser Arbeit wird VRNet im Rahmen eines Forschungsprojektes in eine VR Anwendung integriert um sie vollständig mehrbenutzerfähig zu machen. CeMM Holodeck ist eine UE4 Anwendung zur Datenvisualisierung und Interaktion mit biologischen Datensätzen in Netzwerkform und wird vom CeMM Forschungszentrum für Molekulare Medizin entwickelt. Die Integration von VRNet erwies sich als erfolgreich und zeigte, dass VRNet eine robuste und nützliche Grundlage zur Erstellung von Mehrbenutzer-VR-Anwendungen bietet. Weiters wurden Evaluierungstests durchgeführt um die Leistungsfähigkeit von VRNet, sowie CeMM Holodeck, zu untersuchen. Die Ergebnisse zur Netzverkehrsanalyse zeigen, dass die benutzte Bandbreite trotz hoher Aktualisierungsrate ausreichend niedrig ist. Zusätzlich ist kein Overhead in der Ressourcenverwendung bei integriertem VRNet bemerkbar. Wir konnten zeigen, dass VRNet eine vereinfachte und effektive Entwicklung von performanten Mehrbenutzer-VR-Anwendungen erlaubt.

Multi-user VR applications are challenging to develop and maintain. They are required to be highly responsive to not cause discomfort to users. Potential network issues, like delays and loss of connection, need to be taken into account. The goal of this thesis is to design and implement VRNet, a framework to provide developers with the necessary tools to aid networked VR application development. Game engines like Unreal Engine 4 (UE4) offer tools and a development environment to create complex multiplayer 3D applications. However, the underlying networking system was not designed to be used in local walkable VR scenarios. Our approach is to build the VRNet framework on top of the engine to enhance it with important functionalities. VRNet is implemented as an UE4 code plugin that extends core classes in C++. As a plugin it can easily be integrated and used in UE4 projects. It adds capabilities for networked user movement, interaction and representation in VR. Client-authoritative replication is implemented to ensure consistency between machines with optimal user experience, guarded from networking issues. Additionally, interpolation mechanisms are provided to smoothly simulate other clients. Furthermore, as a proof of concept, VRNet is integrated into a VR application that is developed in the scope of a research project by the CeMM Research Center for Molecular Medicine in cooperation with TU Wien. CeMM Holodeck is an UE4 application for visualization and interaction with biological data-networks. Another goal of this thesis is to extend the functionality of the application to allow multiple users to move around in a shared virtual environment and collaboratively interact with the data-network. The integration of VRNet was successful and showed that VRNet provides a robust and useful foundation for the creation of multi-user VR applications. Evaluation tests were conducted to investigate the performance efficiency of the VRNet framework, as well as the CeMM Holodeck. The results of the network traffic measurements show that the throughput is easily manageable for modern networks even with high network update rates. The results also indicate that resource usage is not noticeably affected by the integration of VRNet. We show that VRNet offers simplified and efficient development of multi-user VR applications that are performant and provide smooth user experience.