Affective space interfaces

Abstract

Die Bedeutung, die wir Informationseinheiten wie Wörtern, Bildern, Musik und Filmen zuschreiben, liegt nicht nur in ihrem rationalen Wert, sondern genauso in den Gefühlen, die diese Dinge in uns erwecken. Interaktive Systeme beschränken sich bislang vor allem auf die Beschreibung des eigentlichen Inhalts, die Denotation, während die Emotionen, die wir mit Informationseinheiten assoziieren, ihre Konno- tation, meist nicht beachtet wird. Die Berücksichtigung von emotionaler Bedeutung würde neue Möglichkeiten eröffnen, um Inhalte zu strukturieren und zu entdecken. Benutzer könnten Inhalte finden, die ihrer Stimmung entsprechen, unabhängig vom Medientypen. Die vorliegende Arbeit untersucht verschiedene Möglichkeiten, wie emotionale Bedeutung in interaktiven Systemen repräsentiert werden kann.<br />Vorgestellte Lö- sungsansätze sind unter anderem der Einsatz von Sprache, Farben und Gesicht- sausdrücken. Die theoretische Basis für diese Untersuchung bilden Arbeiten aus den Disziplinen Semiologie, experimentelle Psychologie, Kunsttheorie und Interak- tionsdesign. Es wurde ein comichaftes Gesichtsmodell entwickelt, das Emotionen durch Ge- sichtsausdrücke visualisiert. Die resultierende Softwarekomponente kann in Web- browsern eingesetzt werden und folgt dem Verhalten von echten Gesichtern, indem Gesichtsmuskeln simuliert werden. Sechs Grundemotionen können gemischt wer- den, um spezifische und subtile emotionale Zustände auszudrücken.<br />

The meaning we ascribe to information entities - words, pictures, music, video, etc. - not only lies in their rational value but as much in the feelings they evoke in us. Currently, interactive systems focus on description of the actual content, or denotation, while associated emotions, the affective connotation of content, is usually neglected. Embracing the affective meaning of media entities would enable to struc- ture content in novel ways, emphasising similarities and differences across media types not covered by textual content descriptions, and would allow users to find content to match an intended mood. To this end, I examine work from diverse fields such as semiology, experimen- tal psychology, art theory and human-computer interaction to form the theoretical basis for the use of this aspect of meaning in interactive systems.<br />Building on this theoretical basis, several ways to visualise and describe affective connotation are compared, which include the use of language, colours and facial expressions. Additionally, a software component has been developed, which visualises af- fective connotation through facial expressions of a comic-like face. The face model uses web technology for easy deployment in browser environments and simulates the behaviour of biological faces by following a muscle-based approach.<br />It is capa- ble of expressing subtle emotional changes through arbitrary blending of six basic emotions.