User approaches to knowledge externalization in visual analytics of unstructured data

Abstract

Herkömmliche Ansätze des maschinellen Lernens zur Analyse von großen Mengen unstrukturierter Daten sind oft auf gelabelte Trainingsdaten und klar definierte Zielvorgaben angewiesen. Diese sind jedoch meist nicht verfügbar oder realisierbar, wenn es um unstrukturierte Daten mit unbekanntem Inhalt geht. Um diese Daten zu interpretieren, erfordert es menschliche Überlegungen und Domänenwissen. Interaktive Systeme, welche die menschlichen analytischen Fähigkeiten mit Techniken des maschinellen Lernens verbinden, können diese Einschränkungen beseitigen. Um jedoch menschliches Wissen in solche Systeme zu integrieren, muss zuerst besser verstanden werden, welche semantischen Informationen und Strukturen Benutzer*innen in den Daten erkennen und erwarten, und wie sie ihr implizites Wissen explizit darstellen. Diese Arbeit verfolgt das Ziel, diese Lücke zwischen menschlicher Kognition und der (wissensgestützten) visuellen Datenanalyse zu verringern. In einer qualitativen und explorativen Benutzer*innenstudie untersucht diese Arbeit, wie Personen einen großen, unstrukturierten Datensatz erkunden und welche Strategien sie anwenden, um ihre mentalen Modelle zu externalisieren. Durch die Analyse der externalisierten mentalen Modelle versuchen wir besser zu verstehen, wie sich das Wissen der Benutzer*innen während der Datenexploration entwickelt. Durch die Anwendung quantitativer und qualitativer Methoden, einschließlich eines Crowdsourcing-Schrittes, evaluieren wir die Ausführlichkeit, den Detailgrad und die Entwicklung der externalisierten Wissensrepräsentationen der Benutzer*innen. Die Ergebnisse zeigen, dass die externalisierten Strukturen der Nutzer*innen in der Lage sind, einen gegebenen Datensatz vollständig und mit einem hohen Detailgrad darzustellen. Während diese Repräsentationen stark subjektiv sind und Strukturen starke Unterschiede aufweisen, konnten wir strukturelle Ähnlichkeiten zwischen den Personen identifizieren. Neben den Erkenntnissen über die Externalisierung von implizitem Wissen während der Datenexploration schlagen wir Designrichtlinien für (wissensgestützte) visuelle Datenanalyse-Systeme vor.

Traditional machine learning approaches for analyzing large unstructured data often depend on labelled training data and well-defined target definitions. However, these may not be available or feasible when dealing with unknown and unstructured data. It requires human reasoning and domain knowledge to interpret it. Interactive systems that combine human analytical abilities with machine learning techniques can address this limitation. However, to incorporate human knowledge in such systems, we need a better understanding of the semantic information and structures that users observe and expect while exploring unstructured data, as well as how they make their tacit knowledge explicit. This thesis aims to narrow the gap between human cognition and (knowledge-assisted) visual analytics. In a qualitative and exploratory user study, this thesis investigates how individuals explore a large unstructured dataset and which strategies they apply to externalize their mental models. By analyzing users' externalized mental models, we aim to better understand how their knowledge evolves during data exploration. We evaluate the comprehensiveness, detail and evolution of users' external knowledge representations by applying quantitative and qualitative methods, including a crowdsourcing step. The results show that users' externalized structures are able to represent a given dataset comprehensively and to a high degree of detail. While these knowledge representations are highly subjective and show various individual differences, we could identify structural similarities between individuals. In addition to the insights about how users externalize their tacit knowledge during data exploration, we propose design guidelines for (knowledge-assisted) visual analytics systems.