Embodied conversational agent for urban exploration of historical places in virtual reality

Abstract

Diese Thesis untersucht die Integration eines verkörperten konversationalen Agenten (ECA) in eine historische Virtual-Reality-Umgebung, die es dem Benutzer ermöglicht, den Ort gemeinsam mit dem Agenten zu erkunden. Sie präsentiert eine technische Lösung für eine realistische Verkörperung des konversationalen Agenten und für ein flüssiges Gespräch mit dem Agenten, sowie eine Methode zur Generierung von Standortbewusstsein für diesen Agenten.Auf dieser Grundlage wurde ein historisches Lernszenario im alten Ägypten entwickelt, das es den Benutzern, während sie den Ort entdecken, ermöglicht in eine konversationelle Lernumgebung über spezifische Interessensgebiete einzutauchen.Zur Evaluation wurde ein verkörperter konversationaler Agent mit einem nicht verkörperten konversationalen Agenten als Gesprächspartner für die Erkundung eines historischen Ortes in Virtual Reality in einer Nutzerstudie verglichen. Der ECA bietet durch seine physische Präsenz, Körpersprache und nonverbale Ausdrücke, eine immersivere Interaktion, während der nur hörbare Agent sich ausschließlich auf auditive Kommunikation stützt. Es wurde festgestellt, dass die soziale Präsenz des verkörperten Agenten signifikant höher war als die des nicht verkörperten Agenten. Dies deutet darauf hin, dass die Verkörperung des Agenten die Interaktion zwischen Agent und Benutzer durch die physische Präsenz des Agenten und sein nonverbales Verhalten verbessert.Die Verkörperung des Agenten führte jedoch zu keinen signifikanten Unterschieden hinsichtlich des Präsenzgefühls in der virtuellen Welt, der intrinsischen Motivation, die Umgebung zu erkunden, oder des subjektiv empfundenen Lernergebnisses der Benutzer. Durch die qualitative Analyse der Kommentare der Teilnehmer an der Nutzerstudie wurden Empfehlungen für zukünftige Entwicklungen von ECAs zur Erkundung virtueller historischer Umgebungen identifiziert.Die Ergebnisse zeigen, dass das Gespräch mit einem Agenten im Kontext der Erkundung historischer Orte in Virtual Reality ein unterhaltsames und lehrreiches Erlebnis bieten kann.

This thesis investigates the integration of an embodied conversational agent (ECA) in an historical virtual reality environment, enabling the user to explore the location alongside the agent. It presents a technical solution for a realistic embodiment of a conversational agent and for a fluid conversation with the agent, as well as a method to generate location awareness for this agent. Building on this foundation, a historical learning scenario set in ancient Egypt was developed, allowing users to engage in conversational learning about specific topics of interest while discovering the place.For evaluation, an embodied conversational agent was compared with a non-embodied conversational agent as conversation partner for exploring a historical place in virtual reality in a user study. The ECA offers a more immersive interaction through its physical presence, body language, and non-verbal cues, while the voice-only agent relies solely on auditory communication. It was found that the social presence of the embodied agent was significantly higher than that of the non-embodied agent. This indicates that the embodiment of the agent improves the interaction between the agent and the user through the agents physical presence and its' non-verbal behavior. The embodiment of the agent did not lead to any significant differences in terms of the sense of presence in the virtual world, the intrinsic motivation to explore the environment or the subjective-related learning outcome of the user. Through qualitative analysis of comments of the participants in the user study, recommendations for future developments of ECAs for exploration of virtual historical environments were identified. The results indicate that talking to an agent in the context of exploring historical places in virtual reality can provide an entertaining and educational experience.