Sound awareness using Austrian sign language for deaf and hard of hearing individuals

Abstract

While deaf and hard of hearing people are not in any need to be “fixed” through technological means, several studies have shown that a part of deaf and hard of hearing people is highly interested in being informed about the auditory world through sound awareness technologies. Different modalities for informing about those sounds have been researched, for example, conveying sound information through sign language on smartwatches. However, there has been a lack of research about the interests and needs of the Austrian community and how sounds could be depicted in Austrian Sign Language (ÖGS).To tackle this research gap, in this thesis, I developed a German and ÖGS sound taxonomy with 12 sound descriptive categories through interviews with nine Austrian ÖGS interpreters. The results show that while it is difficult to transfer abstract sounds into a visual language, there is potential for a future sign language-based sound awareness system. In the following study, I evaluated a sound-aware smartwatch system and the ÖGS taxonomy with three deaf participants. The results showed that while there are existing sound awareness mechanisms used by deaf and hard of hearing people, such as relying on visual cues, there is also an interest in sound awareness through technological means. The combined representation of sound categories into ÖGS was not preferred in this preliminary evaluation. A general depiction of sound sources in sign language was, however, appreciated. Additional modalities also received positive feedback, such as combining textual and signed information or using symbols for certain sounds. Emphasis was also put on the individual needs of each user, highlighting the requirement for customizability to cover the interests of the broad and diverse target group.To conclude, this work studies the first integration of ÖGS into sound awareness technology, aims to create a deeper understanding of the Austrian deaf and hard of hearing people, provides design implications for future sound awareness technologies, and contributes valuable insights toward accessible, user-centered design in deaf-centered human-computer interaction.

Obwohl gehörlose und schwerhörige Menschen keineswegs durch technologische Mittel “repariert” werden müssen, zeigen Studien, dass viele von ihnen großes Interesse daran haben, durch Technologien über Geräusche in ihrer Umgebung informiert zu werden. Verschiedene Modalitäten zur Vermittlung solcher Geräusche wurden bereits erforscht, etwa durch deren Darstellung in Gebärdensprache auf Smartwatches. Allerdings gab es bislang weder Untersuchungen zu den Interessen und Bedürfnissen der österreichischen Community noch dazu, wie Geräusche in der Österreichischen Gebärdensprache (ÖGS) dargestellt werden könnten.Um diese Forschungslücke zu schließen, habe ich in dieser Arbeit anhand von Interviews mit neun österreichischen ÖGS-Dolmetscher:innen eine deutsche und eine ÖGS-Geräuschtaxonomie mit 12 Kategorien entwickelt. Die Ergebnisse zeigen, dass es zwar schwierig ist, abstrakte Geräusche in eine visuelle Sprache zu übertragen, aber dennoch Potenzial für ein zukünftiges gebärdensprachbasiertes Geräuschwahrnehmungssystem besteht. In der zweiten Studie habe ich ein geräuschwahrnehmendes Smartwatch-System sowie die entwickelte ÖGS-Taxonomie mit drei gehörlosen Teilnehmer:innen evaluiert. Dabei zeigte sich, dass gehörlose und schwerhörige Menschen bereits verschiedene Strategien zur Wahrnehmung von Geräuschen nutzen, beispielsweise durch visuelle Hinweise. Gleichzeitig wurde Interesse an technologischen Lösungen zur Geräuschwahrnehmung geäußert. In dieser vorläufigen Evaluation wurde die kombinierte Darstellung von Geräuschkategorien in der ÖGS nicht bevorzugt. Die Darstellung konkreter Geräuschquellen in Gebärdensprache wurde jedoch allgemein positiv bewertet. Auch zusätzliche Modalitäten, wie etwa die Kombination von textuellen und gebärdeten Informationen oder ergänzenden Symbolen, erhielten positives Feedback. Ein weiterer wichtiger Aspekt war die Berücksichtigung individueller Bedürfnisse der Nutzer:innen. Dabei wurde besonders die Bedeutung von Individualisierung hervorgehoben, um den unterschiedlichen Interessen und Anforderungen der vielfältigen Zielgruppe gerecht zu werden.Zusammenfassend untersucht diese Arbeit erstmals die Integration von der ÖGS in Technologien zur Geräuschwahrnehmung. Sie trägt zum besseren Verständnis der Perspektiven gehörloser und schwerhöriger Menschen in Österreich bei, leitet Designimplikationen für zukünftige Geräuschwahrnehmungstechnologien ab und liefert wertvolle Erkenntnisse für barrierefreies, nutzerzentriertes Design in der Gehörlosen-orientierten Mensch-Computer-Interaktion.