Mixed Reality Training für Einsatzkräfte mit einem Video See-Through Head-Mounted Display

Abstract

Regular, ecient and controllable training of first responders is an important aspect of disaster preparedness. By using new approaches and technologies real world manoeuvres could be shifted into Virtual Reality (VR) oering new possibilities and enhancements. In order to achieve this, we developed a simulation containing various components to replicate as many characteristics as possible of a real life training session. The implementation includes the ability to connect multiple participants simultaneously and let them interact with themselves as well as with real world objects. A flexible and adaptive video see-through function cooperates with a body parts motion tracking device resulting in a Mixed Reality (MR) environment while preserving the immersion of the Virtual Environment (VE). Furthermore, I integrated a control User Interface (UI) to provide capabilities such as monitoring the procedures from variable aspects or triggering incidents within the simulation. This server interface enhances the educational benefits of the system as it is capable of switching and repeating dierent scenarios by oering the exact same conditions and parameters without additional expense or risks. Our sophisticated training environment and its functionalities were tested with participants from the Austrian Military focused on Chemical, Biological, Radiological and Nuclear Defense (CBRN) preparedness and we conclude that this VR training simulation can extend real-life disaster preparedness with additional features, and decrease negative side eects such as hazardous conditions, expensive setups and hard to control parameters.

Die Katastrophenvorsorge zeichnet sich durch ein regelmäßiges, ezientes und kontrolliertes Training von Ersthelfern aus. Mithilfe neuer Technologien und Ansätze können reale Truppenübungen in Virtual Reality (VR) abgebildet und somit herkömmliche Szenarien erweitert und verbessert werden. Aus diesem Grund wurde ein System, bestehend aus verschiedenen Software und Hardware Komponenten, entwickelt und umgesetzt, um eine Trainingseinheit einschließlich ihrer Charakteristika so realitätsnah wie möglich nachzubilden. Die Implementierung beinhaltet Funktionen, mehrere Teilnehmer zeitgleich zu verbinden, sie untereinander interagieren zu lassen und reale Objekte in Echtzeit in die virtuelle Umgebung zu integrieren. Eine flexible und adaptive Video See-Through Funktionalität kombiniert mit Bewegungserkennung aller Körperteile, resultieren in einer Mixed Reality (MR) Anwendung, welche eine hohe Immersion beibehält. Im Zuge dieser Arbeit wurde ein Kontrollinterface entwickelt, um Abläufe aus variablen Perspektiven beobachten und überwachen zu können. Sowohl das Auslösen von Ereignissen als auch deren Vorkonfiguration können extern definiert und vorbereitet werden. Dies hat den Vorteil, zwischen Trainingssequenzen mit bestimmten Parametern beliebig wechseln zu können und diese ohne zusätzliche Kosten oder Aufwände mehrfach zu wiederholen. Um die fortschrittliche Trainingsumgebung und alle Funktionalitäten zu validieren und testen, wurde eine Nutzerstudie mit Teilnehmern des Österreichischen Bundesheeres, welche sich auf Atomare, Biologische und Chemische (ABC) Einsätze spezialisieren, durchgeführt. Rückschließend auf die Ergebnisse kann schlussgefolgert werden, dass dieses VR-System die Katastrophenvorsorge verbessern und mit neuen Funktionen erweitern kann. Weitere positive Aspekte sind die Reduktion von negativen Auswirkungen gefährlicher Substanzen auf die Teilnehmer und die Umwelt, niedrigere finanzielle Ausgaben und transparentere und leichter kontrollierbare Parameter.