Zur Evaluierung explorativer Informationsvisualisierung

Abstract

Die vorliegende Dissertation beschäftigt sich mit der umfassenden Bewertung hinsichtlich Usability und Utility von explorativer Informationsvisualisierung (InfoVis). Im Rahmen einer Therapie von Mädchen mit Anorexia nervosa im AKH Wien werden sehr viele hoch strukturierte und zeitabhängige Daten erhoben. Gravi++, ein interaktives InfoVis-Tool, wurde entwickelt, um die PsychotherapeutInnen und ÄrztInnen bei der Auswertung der Daten zu unterstützen.<br />Ein Abschätzen der Brauchbarkeit von InfoVis-Tools ist wegen des hohen Einflusses von Erkenntnisprozessen auf die erfolgreiche Benutzung schwierig. Hinzu kommt, dass relativ wenig systematische Richtlinien für das Designen von solchen Systeme existieren. Das macht eine gründliche Evaluierung besonders notwendig. Eine derartige Evaluierung muss auf differenzierten Ebenen, mit unterschiedlichen Untersuchungsmethoden und verschiedenen Versuchspersonengruppen durchgeführt werden.<br />Zu Beginn wurde eine ausführliche Untersuchung der Usability durchgeführt. Diese setzte möglichst früh im Entwicklungsprozess ein und begleitete ihn. Sie ist als eigenständiger und wichtiger Teil klar von der Evaluierung der Visualisierungsmethode als solche getrennt.<br />Verwendete Methoden waren Usability Inspektion, Heuristische Evaluierung und Fokusgruppen. Der große Umfang der erhobenen Daten machte eine systematische Auswertung notwendig. Hierzu verwendete Vorgehensweisen, aufgetretene Schwierigkeiten und erhaltene Ergebnisse werden in dieser Arbeit vorgestellt.<br />Danach wurde eine empirische Vergleichsstudie durchgeführt. Das InfoVis-Tool Gravi++ wurde mit Explorativer Datenanalyse und Algorithmen des Maschinellen Lernens verglichen. Ziel war es, die Unterstützung der drei Technologien beim Erkenntnisprozess zu bewerten. Zu diesem Zweck wurde ein System entwickelt, welches zum einen die Versuchspersonen beim Dokumentieren ihrer Erkenntnisse unterstützte, und zum anderen die Kategorisierung und Klassifikation des erfassten Materials ermöglichte.<br />Im Anschluss an die Laboruntersuchung wurden Fokusgruppen abgehalten.<br />Einmal mehr erlaubt die Verwendung sich ergänzender Untersuchungsmethoden eine umfassende Bewertung der getesteten Technologien. Die Resultate der statistischen Analysen der Reports bzw.<br />der qualitativen Auswertung der Fokusgruppen zeigen, dass sich die drei Technologien ergänzen und folglich möglichst gemeinsam verwendet werden sollten.<br />

This dissertation describes the extensive evaluation of an explorative Information Visualization (InfoVis) technique. The application domain is the psychotherapeutic treatment of anorectic young women. During the therapy of these patients a large amount of highly complex and time-dependent data is collected. The developed InfoVis tool Gravi++ is supposed to support psychotherapists and clinicians with their work and to allow for the analysis of the collected data.<br />Evaluating InfoVis techniques for complex knowledge domains makes it necessary to apply alternative methods. In the evaluation of Gravi++ we used several methods and studied different user groups.<br />A usability study was part of an iterative and participative software development process. Methods used were usability inspection / guideline review, heuristic evaluation and focus groups. Heuristic evaluation was a very valuable method for identifying usability problems. Focus groups did not yield very much additional factual knowledge but gave important insights about the subjective importance of usability problems.<br />For an insight study we developed a report system yielding data about the insights the subjects gained during the exploration. It helped the subjects to formulate and document their insights in a self-directed manner and provides complex information about subjects' reasoning processes. Log files are valuable for time-dependent analysis of cognitive strategies. Focus groups provide a different view on the process of gaining insights. The results of an empirical study comparing the InfoVis Tool, Exploratory Data Analysis, and Machine Learning show that the three methods are complementary and should be used in conjunction.