Audio-visual perception in interactive virtual environments

Abstract

Interaktive virtuelle Umgebungen werden immer realitätsgetreuer.<br />Ihre qualitativ hoch-wertigen Stimuli erhöhen ohne Zweifel das Gefühl der Präsenz und Immersion ``mittendrin in der Welt zu sein''. Sehen und räumliches Hören machen den größten Teil unserer Wahrnehmung aus, der visuelle Bereich dominiert deutlich und ist daher schon seit längerem im Blickpunkt der Forschung, aber vielleicht ist es gerade ihre Kombination, die den Anwender in seiner Entscheidungsfindung und damit in der Bewältigung einer Aufgabe unterstützt.<br />Mit der Identifikation der Aufgabe alleine ist es nicht getan. Natürlich könnte man sich Dutzende einfallen lassen bei denen räumliche Tonwiedergabe einen praktischen Sinn macht. Interessant sind hier solche, die kognitiv auf einem ziemlich hohen Level angesiedelt sind.<br />Aufgaben die sowohl zu einem hohen Maß aus visuellem Reiz und auditiver Wahrnehmung in Kombination mit Bewegung gestaltet sind, bieten hier ein breites Betätigungsfeld. Ein Beispiel ist das Überqueren einer befahrenen Straße, eine alltägliche Aufgabe, die für unser Gehirn eine hohe Informationsdichte beinhaltet und schnelle Verarbeitung erfordert.<br />Wie allerdings wirkt sich dabei unser Hören aus? Bringt räumlicher Ton eine gesteigerte Leistung? Kann man dieses natürliche, räumliche Hören virtuell nachstellen? Hier setzt diese Diplomarbeit an und untersucht die Auswirkung von räumlicher Tonwiedergabe verglichen mit konventionellem Stereoton oder gar keinem Ton. Im Rahmen des praktischen Teils ist ein Simulator entstanden mit dessen Hilfe ein Straßenquerungsexperiment nachgestellt wird. Dieses wird anschließend im Rahmen einer Studie mit freiwilligen Probanden durchgeführt.<br />Die Ergebnisse geben einen Hinweis, dass es einen statistisch signifikanten Unterschied zwischen räumlichem Ton, Stereoton und keinem Ton gibt. Zukünftig könnte dies nicht nur die natürliche Qualität und damit die Glaubwürdigkeit der virtuellen Umgebung steigern, sondern auch die Anwender selbst unterstützen.<br />

Interactive virtual environments (VEs) are gaining more and more fidelity. Their high quality stimuli undoubtedly increase the feeling of presence and immersion as "being in the world", but maybe they also affect user's performance on specific tasks. Vision and spatial hearing are the main contributors of our perception. Sight dominates clearly and has been in the focus of research for a long time, but maybe it is the audio-visual combination which facilitates the user in his decision making and in completing a task.<br />Mere identification of the task is not enough. Of course one could find dozens of problems where spatial sound reproduction has a practical relevance. More interesting are those which reside on a high cognitive level. Tasks that combine visual stimuli and auditive perception with movement provide a wide field of activity like for example crossing a busy road, an every day task that contains a high information density and demands fast processing by the brain. But how does hearing have an impact on this? Does spatial audio lead to better performance? Can one adjust naturalistic, spatialized hearing virtually? This diploma thesis asseses the effect of spatial sound reproduction compared to conventional stereo sound or no sound at all. Within the scope of the practical part, a simulator was implemented to produce a virtual street crossing experiment. It was later used to perform a study with volunteer participants.<br />The results give evidence that there is a statistically significant difference between spatialized sound rendering compared to stereo sound or no sound. In the future this can not be used solely to boost the naturalistic fidelity and authenticity of a virtual environment but also as a user supportive measure.