From Interactions to Integrated Actions: Exploring Active Perception and Inter-Modality in Data Physicalization

Abstract

Das wachsende Feld der Datenphysikalisierung birgt signifikantes Potential für die Integration des Handelns der Nutzer durch physikalische Artefakte. Zwei vielversprechende Faktoren für solche physischen, im Gegensatz zu virtuellen Repräsentationen sind die physikalischen Interaktionen und die multimodale Wahrnehmung. Direkte Manipulation im physikalischen Raum erlaubt Nutzern, Datenphysikalisierungen auf natürliche Art zu erforschen, und das Handeln des Nutzers zum Kodieren und Dekodieren von Informationen zu verwenden, anders als bei rein virtuellen Repräsentationen. In dieser Dissertation erforsche ich das Einbinden der Handlungen von Nutzern, sowohl im Bezug auf Interaktion als auch Wahrnehmung, wobei ich mich zwischen Repräsentationen wo Interaktionen rein vor der Wahrnehmung stattfinden und solchen wo physikalische Interaktionen die menschlichen Sinne direkt stimulieren. Ich untersuche vier verschiedene Arten der Interaktion mit Datenphysikalisierungen und zeige, wie jede davon die menschlichen Wahrnehmungen unterschiedlich beeinflusst. Erstens zeige ich, wie eine modulare 3D Darstellung von dynamischen Daten durch physikalische Verkörperung die natürliche Wahrnehmung von Menschen nutzen kann. Dafür präsentiere ich eine einfache interaktive physikalische Repräsentation eines Raumzeit Würfels, die ich in einer Fallstudie mit einer Domänenexpertin bespreche. Zweitens untersuche ich den Einfluss des Aktes der Konstruktion — eine intuitive Interaktion im physikalischen Raum — einer vorgegebenen Repräsentation auf die menschliche Wahrnehmung. Ich zeige dies anhand des Designs eines Netzwerk-Physikalisierungsbaukastens und dessen Einsatz in einer Studie, wo ich verschiedene Methoden, eine Visualisierung zu konstruieren, vergleiche. Drittens führe ich die taktile Wahrnehmung von elastischen Eigenschaften eines Objekts durch eine multimodale Repräsentation von Volumendaten ein. Dafür stelle ich eine Fabrikations-Pipeline vor, mit der Nutzer elastische Artefakte aus Volumendaten mit konventionellem 3D Druck erzeugen können und validiere diese durch verschiedene Methoden. Letztlich untersuche ich den Nutzen der manuellen Bedienung eines dynamischen Prozesses, die die Wahrnehmung eines Nutzers direkt stimuliert, um Informationen zu liefern. In einer Studie zeige ich, dass die positiven Effekte der Integration des Handelns eines Nutzers in eine Repräsentation. Insgesamt zeigen die Resultate, dass bereits eine einfache Datenphysikalisierung durch natürliche menschliche Wahrnehmung positive Effekte erzielen kann. Abstrakte Repräsentationen müssen von den Nutzern erlernt werden, während physikalische Metaphern durch direkte Interaktion von der menschlichen Wahrnehmung profitieren, sofern der Reiz auf die Fähigkeiten der Sinne angepasst ist.

The growing field of data physicalization holds significant potential for integrating user actionsdirectly into the sense making process through physical artifacts. Two promising factors for physical, as opposed to virtual representations, are physical interaction and multimodal perception. Unmediated interaction in the physical space allows users to manipulate and explore dataphysicalizations in a natural way, harnessing a user’s actions to encode and decode information ina different way than purely virtual representations. In this dissertation, I explore the incorporation of user action as a means of manipulation and perception into data physicalizations, moving from representations where perception only happens after physical interactions, to representations where physical interactions directly stimulate the user’s perception. I investigate four distinct types of user interactions with data physicalizations and show how each of them can support human perception in different ways. Firstly, I show how a modular 3D representation of dynamic data can leverage physical embodiment using natural spatial perception.I demonstrate this by creating a simple interactive physical representation of a space-time-cubemetaphor and investigating it in a case study with a domain expert. Secondly, I investigate the influence of construction — an intuitively physical interaction in the physical space — of apre-defined physical representation on human perception. I show this by designing a networkdata physicalization toolkit and conducting a between-subject study, comparing different ways to instruct a user during construction. Thirdly, I introduce tactile perception of the elastic properties of an object in a multi-modal representation of volume data. I showcase this at the hands of a fabrication pipeline that creates elastic artifacts from volume data using consumer-level 3D printing and validate the method through computational, mechanical, and perceptualstudies. Finally, I explore the benefits of manually operating a physical representation of adynamic process, leveraging the tactile feedback to the user for information encoding. By means of a between-subject user study, I show that integrating a user’s actions into a representation significantly increases engagement.Overall, the results show that even a simple physicalization can highlight the perceptual benefits of physically encoding data by ways of natural perception. Abstract representations have to be learned by users but can be supported by physical interactions, while embodied metaphors profit from direct interactivity if the stimulus fits the sensory capabilities.