Virtuelle Welten bieten unbegrenzte Möglichkeiten für die Erstellung von Lernszenarien in verschiedenen Bereichen. Diese Welten werden oft mit verkörperten Agenten angereichert, um menschliches Verhalten bei verschiedenen Interaktionen zwischen menschlichen Benutzern und virtuellen Agenten zu simulieren. Allerdings verfügen diese Agenten in der Regel nur über begrenztes Wissen und Verhalten und ihre Kommunikationsfähigkeiten sind in der Regel vordefiniert oder sie sind überhaupt nicht in der Lage zu kommunizieren. In dieser Arbeit untersuchen wir die Auswirkungen von verkörperten Agenten mit Konversationsfähigkeiten und Situationsbewusstsein auf die menschliche Wahrnehmung und Leistung in einem Trainingsszenario für Ersthelfer. Wir stellen eine neuartige Lösung vor, um verkörperten Agenten ein Situationsbewusstsein zu ermöglichen, welches ihnen erlaubt, Veränderungen in ihrer Umgebung und ihrem eigenen Zustand zu erfassen und darauf zu reagieren. Die Agenten sind in der Lage, dieses erfasste Wissen durch umfassende Konversationsfähigkeiten zu vermitteln, indem sie eine Kombination aus neuartigen Methoden von NVIDIA für die automatische Spracherkennung und Sprachsynthese und der industrieerprobten Konversations-Artificial Intelligence (AI) Rasa verwenden. Um unsere konversationellen Agenten zu evaluieren, führten wir eine Between-Groups Nutzerstudie mit 24 Teilnehmern in einer Trainingsanwendung in der Unity Spiel-Engine durch und untersuchten die Unterschiede zwischen Agenten mit vollständigen Konversationsfähigkeiten und Agenten mit geskriptetem Audio. Während der Studie haben wir verschiedene quantitative Metriken gemessen, darunter Präsenz, Kopräsenz, Aufgabenleistung, Realismus, Lernerfolg, Informationspräsentation, Agenteninteraktion und Trainingsdauer sowie qualitative Messungen in Form von offenen Fragen. Während unsere quantitativen Ergebnisse keine signifikanten Unterschiede in allen gemessenen Metriken aufzeigten, fanden wir einen signifikanten Unterschied zu Gunsten von Agenten mit vollen Konversationsfähigkeiten in der Metrik Kopräsenz. Darüber hinaus fanden wir signifikante Unterschiede zwischen den Geschlechtern in den Metriken subjektive Aufgabenleistung und Trainingsdauer. Abschließend diskutierten wir das Nutzerfeedback zu unseren konversationsfähigen Agenten und leiteten aus unseren qualitativen Ergebnissen Richtlinien für die zukünftige Entwicklung und Forschung von Trainingsanwendungen mit verkörperten konversationsfähigen Agenten mit Situationsbewusstsein in VR ab.
de
Virtual worlds offer unlimited possibilities for creating educational training scenarios in various domains. These worlds are often enriched with embodied agents to simulate human behavior in various interactions between human users and virtual agents. However, these agents usually only have limited knowledge and behavior and their communication skills are usually predefined or they are not able to communicate at all. In this thesis, we investigate the impact of embodied agents with conversational abilities and situation awareness in a first responder training scenario on human perception and performance. We present a novel solution to enabling situation awareness for embodied agents which allows them to capture and react to changes in their environment and their own state. The agents are capable of conveying this captured knowledge through full conversational capabilities by utilizing a combination of novel methods from NVIDIA for automatic speech recognition and speech synthesis and the industry proven conversational Artificial Intelligence (AI) Rasa. To evaluate our conversational agents, we conducted a between-groups user study with 24 participants in a Virtual Reality (VR) training application in the Unity game engine and investigated the differences between agents with full conversational capabilities and agents with scripted audio. During the study we measured several quantitative metrics including presence, co-presence, task performance, realism, learning outcome, information presentation, agents interaction and training duration as well as qualitative measurements in the form of open questions. While our quantitative results did not indicate significant differences in all measured metrics, we found a significant difference in favor of agents with full conversational capabilities in the metric co-presence. In addition, we discovered significant differences between genders in the metrics subjective task performance and training duration. Finally, we discussed user feedback on our conversational enabled agents and derived guidelines for future research and development of training applications with embodied conversational agents with situation awareness in VR from our qualitative results.
