Effects of multisensory stimulation in virtual reality

Abstract

Die vorliegende Arbeit befasst sich mit den Auswirkungen der Integration von multisensorischen Feedback, insbesondere der Kombination von 3D-Audio und haptischen Elementen. Im Rahmen der Studie wurde der Einfluss auf die Kernmetriken ’immersion’,’presence’ und ’motion sickness’ untersucht. Die vorliegende Untersuchung schließt eine Lücke in der bestehenden Forschungsliteratur zum Thema Virtual Reality, indem sie die Auswirkungen von synchronisiertem sensorischem Feedback auf die Benutzererfahrung über den Bereich der visuellen Immersion hinaus untersucht. Zu diesem Zweck wurde das VR-System ’Phantastic Sound Experience’ entwickelt. Das System verbindet 3D-Audio mit taktilem Feedback, indem es eine virtuelle Umgebung mit einem eigens dafür angefertigten Konstrukt kombiniert, welches audio-ausgelöste taktile Vibrationen erzeugt.Im Rahmen der Evaluierung des Projekts wurden zwei Versionen des Systems getestet,um eine Gegenüberstellung der Ergebnisse zu ermöglichen. Die Datenerhebung erfolgte mittels standardisierter Fragebögen zur Erfassung der Präsenz- und Immersionserfahrung sowie durch leitfadengestützte Nutzerinterviews. Die Implementierung multisensorischen Feedbacks resultierte in einer leichten Intensivierung der ’immersion’ und ’presence’ der Testpersonen. Die Teilnehmer:innen der Gruppe B, welche sowohl taktiles als auch akustisches Feedback erhielten, berichteten über eine verstärkte körperliche Reaktion sowie eine Verringerung der Wahrnehmung der realen Welt. Während bei einigen Messwerten keine statistisch signifikanten Unterschiede festgestellt wurden, deutete qualitatives Feedbackauf ein stärkeres Gefühl der Zeitverzerrung und der ’presence’ bei denjenigen hin, welche multisensorische Hinweise erhielten. Die Ergebnisse legen nahe, dass die Kombination von 3D-Audio und haptischen Reizen in VR das Potenzial birgt, die Nutzerbindung zu intensivieren. Dennoch sind weitere Forschungsarbeiten erforderlich, um die für die Integration der sensorischen Reize eingesetzten Techniken zu verfeinern. Die vorliegende Studie präsentiert Erkenntnisse zur effektiven sensorischen Synchronisation in VR und identifiziert Forschungsfelder für künftige Untersuchungen. Dazu zählen die Optimierung von Kalibrierungsmethoden für haptisches Feedback sowie die Analyse individueller sensorischer Wahrnehmung. Die Resultate dieser Studie bilden die Basis für weitere Projekte die multisensorische Stimulierung einsetzen, um ein umfassendes immersives Nutzerlebnis ermöglichen.

This thesis investigates the impact of integrating multisensory feedback, particularly the combination of 3D audio and haptic elements, on the enhancement of immersion and presence in virtual reality environments. Addressing a significant gap in the existing VRresearch literature by examining the impact of synchronized sensory feedback on user experience, extending beyond the domain of visual immersion. To investigate this, the "Phantastic Sound Experience" VR system was developed. The system is implemented to combine 3D audio and tactile feedback by combining a virtual environment with a custom built physical device, that provides audio-triggered tactile vibrations. The participants were exposed to two conditions: one incorporating multisensory feedback and another comprising solely the visual environment. Quantitative and qualitative data were gathered through the administration of standardized presence and immersion questionnaires, complemented by user interviews. The findings indicate that the provision of multisensory feedback has the effect of enhancing user immersion and presence. Inparticular, those in Group B (who received tactile and audio feedback) reported increased physical involvement and a reduction in their awareness of the real world. While nostatistically significant differences were observed in some metrics, qualitative feedback indicated a stronger sense of time distortion and "being there" among those receiving multisensory cues. These findings imply that the combination of 3D audio and haptics in VR has the potential to enhance user engagement. However, further research is required to refine the techniques employed for the integration of sensory stimuli. This study provides insights into effective VR sensory synchronization and identifies areas for future work, such as the optimization of calibration methods for haptic feedback and the examination of individual sensory processing differences. These findings establish a foundation for nuanced sensory synchronization in VR, advancing design strategies that foster fully immersive user experiences.