3D Interaction within a multi-user distributed untethered virtual reality training simulation

Abstract

Katastrophen passieren weltweit, an manchen Orten öfter als an anderen. Das Vermeiden dieser steht an erster Stelle, ist jedoch eine Katastrophe unumgänglich oder außerhalb des menschlichen Einwirkungsbereichs, müssen gute Vorbereitung getroffen werden, um eine gute Versorgung zu gewährleisten. Nicht nur materielle und bauliche Maßnahmen müssen getroffen werden, sondern auch personelle Vorbereitungen. Ein großer Schadensfall verlangt von allen Beteiligten sehr viel ab. Gerade Führungskräfte müssen in einem kurzen Zeitfenster wichtige Entscheidungen treffen, die den Erfolg der Katastrophenbewältigung nachhaltig beeinflussen. Um in einem Ernstfall effizient reagieren und entscheiden zu können, benötigt es eine dementsprechend gute Ausbildung. Da an manchen Orten Großschadensereignisse und Katastrophen nicht so häufig vorkommen, können nur wenige Führungskräfte auf einen Erfahrungsschatz zurückgreifen. Um diese Defizite bezüglich Erfahrung auszugleichen, müssen groß angelegte Übungen organisiert werden. Die Durchführung von Großübungen ist mit großen Kosten verbunden, diese benötigt personelle und materielle Ressourcen der Einsatzkräfte, örtliche Umsetzungsmöglichkeiten und Figuranten. Auch die Kooperation mit der lokalen Bevölkerung und staatlichen Organisationen müssen berücksichtigt werden. Um eine kostengünstige Alternative zu den realen Übungsszenarien zu schaffen, wurde 2015 das FFG Projekt "VROnSite" ins Leben gerufen. Im Zuge dieses Projekts wurde mit dem aktuellen Stand der Technik eine mobile, generische, immersive Trainingsplattform für Einsatzkräfte (Feuerwehren, Rettungsorganisationen, Polizei) in der virtuellen Realität entwickelt. Das Hauptaugenmerk lag dabei auf die ersteintreffenden Führungskräfte im Schadensgebiet. Im Zuge dieser Arbeit wurde das bestehende Projekt um ein 3D Interaktionssystem erweitert und für den Mehrbenutzerbetrieb in ein verteiltes System umstrukturiert. Dabei dienen mobile Head-Mounted Displays zur Visualisierung und Gamepads bzw. Omni-Directionale Treadmills als Interaktions- und Navigations-Eingabegeräte. Sinn dieser Erweiterung ist es, dass Üben des vollständigen Kommando-Zyklus (Regelkreis der Führung) für die Trainingsteilnehmer zu ermöglichen. Um eine hohe Qualität zu erreichen und den Nutzen dieses Systems zu maximieren, werden Feuerwehren und Rettungsorganisationen in den Entwicklungsprozess miteinbezogen und eine User Study Evaluierung durchgeführt.

Catastrophes happen worldwide, in some areas more often than in others. The first priority is to circumvent these catastrophes. When a catastrophe is not preventable or out of human influence, preparations need to be made. Not only are materials reserves and structural measures required, but also the personnel in the disaster relief management needs to be prepared. The squad leaders, in particular, have to be prepared, to make the right decisions, which influence the outcome of the relief operation tremendously. Therefore, the squad leaders need to be either experienced or are well trained. However, to effectively train squad leader, simulation exercises need to be executed to compensate the experience gap. To arrange large simulation exercises, many relief units, a lot of materials, a suitable location, and role play actors are required. Additionally, the government and the local communities must endorse ambitious simulations. In order to create an alternative to real simulation exercises, the FFG funded project, "VROnSite" was started in the year 2015. The aim of this project was to develop and evaluate the first fully mobile, generic, multi-user immersive virtual reality platform to train squad leaders of first responder units, such as fire brigades, paramedics, police forces and other disaster relief units. The goal of this master thesis was to extend the VROnSite project by developing a distributed 3D interaction system to allow for immersive training of multiple first responders, supervised by a trainer, within a virtual reality environment. For the visualization part of the scenario, mobile head-mounted displays are used. To navigate through and interact within the virtual reality, gamepads and omnidirectional treadmills are used. To make the system able to perform the training simulation with multiple users, a distributed layer had to be integrated. The main intention of the system is to train squad leaders upon arrival at the disaster site. To enable simulation and training of the entire command cycle, distributed 3D interactions are going to be developed, including 3D selection and manipulation tasks employed by the participants within the immersive simulation, and 3D manipulation tasks by the trainer, using desktop input. The innovative modules will be tested with actual stakeholders, such as fire brigade and paramedic training centers.