SynVis : digitising grapheme-colour synaesthesia through augmented reality

Abstract

Die häufigste Form der Synästhesie, die Graphem-Farb-Synästhesie, verursacht einzigartige Empfindungen, bei denen Buchstaben und Zahlen mit bestimmten Farben assoziiert werden. Angesichts der rasanten technologischen Entwicklung, insbesondere im Bereich der unterstützenden Technologien, untersucht diese Masterarbeit die visuelle Reproduktionder Graphem-Farb-Synästhesie mithilfe von Augmented Reality (AR).Ziel dieser Arbeit ist es herauszufinden, ob die individuell unterschiedlichen Wahrnehmungen von Synästheten in einfache, maschinell implementierbare Regelwerke kodiert werden können, die es Synästheten ermöglichen, schwarzen Text vor dem Lesen einzufärben. Außerdem sollten die technischen Voraussetzungen für die Implementierung eines solchen Systems ermittelt werden.Daher wird eine Literaturrecherche durchgeführt, um herauszufinden, ob es bestimmte wiederkehrende Muster in der Farbwahrnehmung von Synästheten auf Wortebene gibt. Auf der Grundlage früherer Forschungsarbeiten und Experteninterviews mit einem Synästhesieforscher und einem Synästheten wird die Identifizierung und Formalisierung von regulierenden Faktoren, die bestimmte Farben bei Synästheten hervorrufen, validiert.Dies ermöglicht die Entwicklung eines Prototyps, der mobile AR zur Darstellung von Graphem-Farb-Synästhesie-Wahrnehmungen verwendet. Die Anwendung ermöglicht die Umfärbung von Text in der realen Welt mithilfe des Kamerabildes des Geräts nach verschiedenen vordefinierten Regeln.Zur qualitativen und quantitativen Analyse werden Experteninterviews, Benchmark-Testszur Bewertung der Performance der Anwendung (Framezeit, Antwortzeit und Fehlerquote) sowie eine Nutzerstudie zur Ermittlung der technischen Machbarkeit durchgeführt. Die Bewertung der verschiedenen Visualisierungsalternativen ergibt eine Präferenz für die am wenigsten invasive Visualisierung. Die effektivste Methode ist die Einfärbung des Textes in den entsprechenden Farben direkt auf der Pixelbasis des Kamerabildes. Aus Gründen der Lesbarkeit bei dunklen Farben wird die Darstellung von Farbtönen als Hintergrund hinter schwarzer Schrift nicht bevorzugt.Die Arbeit befasst sich mit den technischen Hindernissen und schlägt Optionen fürzukünftige Forschung vor, die den Weg für weitere Forschung auf diesem Gebiet ebnen.

The most common type of synaesthesia, known as grapheme-colour synaesthesia, causes unique sensations in which letters and numbers are associated with specific colours. With the rapid expansion of technology, particularly in the field of assistive technology, this Master’s thesis investigates the visual replication of grapheme-colour synaesthesia using Augmented Reality (AR).The goal of this thesis is to see if synaesthetes’ different individual perceptions could be coded into simple, machine-implementable rule-sets that would allow synaesthetes to pre-colour achromatic text before reading. Furthermore, it aims to establish the technical requirements for implementing such a system. Therefore, a literature review is conducted to find out if there are specific recurring patterns in how synaesthetes perceive colours on the word level. Based on previous research and expert interviews with a synaesthesia researcher and a synaesthete, the identification and formalisation of the regulatory factors that elicit specific colours in synaesthetes are validated. This allows for the creation of a prototype that uses mobile AR to represent grapheme-colour synaesthesia perceptions. The app enables the recolouring of real-world text using the device’s camera input, based on different rule-sets provided. To analyse this qualitatively and quantitatively, the thesis includes expert interviews, benchmark tests to assess the app performance (frame time (FT), response rate (RR), and error rate (ER)), and a user study to determine technological feasibility. Evaluating the various visualisation alternatives reveals a preference for minimum invasive visualisations.The most effective method is to outline text in the appropriate colours directly on the pixel basis of the camera picture. Visualising hues as backdrops behind black lettering,on the other hand, is disliked due to readability concerns with dark colours. The work addresses technical hurdles and suggests options for future research, opening the door for more research in this area.