Towards an evaluation methodology for the aesthetic factor in information visualization

Abstract

Informationsvisualisierung (IV) ist eine Schlüsseltechnologie des Informationszeitalters. Im Zuge der Etablierung von datenbasierten Systemen in allen Bereichen des modernen Lebens treten IV Techniken immer häufiger außerhalb des wissenschaftlichen Kontextes auf. Besonders Künstler und Designer machen von den neuen Methoden Gebrauch, was Ästhetik zu einem wichtigen Faktor in der Praxis macht. Theoretische Bezugssysteme und eine adäquate Taxonomie, die Ästhetik mit einbeziehen, sind derzeit im Entstehen. Der umfassendste Ansatz ist das Konzept Information Aesthetics (IA), das einen Kompromiss zwischen traditioneller IV und Visualization Art (VA) darstellt. Um Ästhetik als wertvolle Ergänzung für traditionelle IV zu etablieren und um den Ängsten vor einer Trivialisierung dieses Feldes entgegenzuwirken, sind wissenschaftliche Ergebnisse über die positiven Effekte der IA Technologie nötig. Um solche Ergebnisse zu liefern, wird in dieser Arbeit ein umfassendes Studienkonzept für eine nutzerbasierte Evaluierung vorgeschlagen.<br />Der Kern des Studienkonzepts besteht aus drei Visualisierungsprototypen, die darauf zugeschnitten sind, die Spezifika der Felder IV, IA und VA abzubilden. Somit werden kontrollierte Bedingungen geschaffen, die es ermöglichen, im Rahmen der Studie aussagekräftige Ergebnisse zu erzielen. Ein substantieller Teil dieser Arbeit ist der umfassende Designprozess für die drei Prototypen, der auf der Analyse verwandter Arbeiten sowie theoretischen Überlegungen fußt. User Engagement und Insight Generation wurden als Größen für die Studienmethodologie verwendet um den qualitativ unterschiedlichen Effekt von ästhetischen Einflüssen in den drei Domänen zu messen. Besonders die Messung von Insight Generation mit der Thinking-Aloud Methode ist geeignet um analytische und emotionale Ergebnisse gleichermaßen zu erfassen. Die Schaffung eines Verständnisses für die kognitiven Auswirkungen von IV, über das effektive und effiziente Lösen von vorgegebenen Aufgaben hinaus, ist für den systematischen Einsatz von IV Technologie in neuen Anwendungsgebieten essenziell. Das Ergebnis dieser Arbeit, drei Testapplikationen mit maßgeschneiderter Evaluierungsmethodologie, bildet ein exemplarisches Setup für das Messen einer großen Bandbreite von qualitativen kognitiven Benutzerreaktionen in der IV Domäne, mit besonderem Augenmerk auf den Faktor Ästhetik.

Information visualization (IV) is a key technology in the information age. Following the establishment of data-driven systems in all areas of modern live, IV techniques are increasingly common outside of a scientific context. Particularly artists and designers are applying the new techniques, making aesthetics an important factor in practice.<br />Theoretical frameworks and an adequate taxonomy considering aesthetics are currently emerging. The most extensive approach is the concept of information aesthetics (IA) as compromise between traditional IV and visualization art (VA). To establish aesthetics as a valuable complement for traditional IV and to antagonize fears of a trivialization of the field, scientific results on positive effects of information aesthetic visualization techniques are required. To produce those results a comprehensive study design for a user evaluation is proposed in this thesis. The core of the study design form three visualization prototypes that are especially implemented according to the respective specifics of IV, IA, and VA. Thus, controlled conditions are created and comparable results can be obtained in the scope of the suggested study. A substantial part of this work is the extensive design process for these three prototypes, which is based on the analysis of related work and theoretical considerations. For the study methodology, insight generation and user engagement are chosen as central measures to capture the qualitatively different effects of aesthetic influences in the three domains. Especially the measurement of insight with the thinking-aloud method can capture analytic and emotional results alike. Creating an understanding of the cognitive effects of IV, beyond effective and efficient task solving, is necessary for the systematic and reasonable application of IV techniques in new settings. The result of this work, a set of three test applications with tailored evaluation methodology, forms an exemplary setup for measuring a broad range of qualitative cognitive user reaction in the IV domain with especial emphasis on aesthetics.