Projector-based textures for 3d-printed models

Abstract

Durch die zunehmende Verfügbarkeit von neuen 3D-Druck-Technologien sind Molekularbiologen und Molekularbiologinnen nun in der Lage, auf einfache Art und Weise plastische Modelle von großen und komplexen Molekülen herzustellen. Solche Modelle können die mentale Erfassung der zugrundeliegenden räumlichen Strukturen unterstützen. Allerdings sind diese Modelle statisch und meist einfärbig, weshalb ihr Informationsgehalt nicht an bildschirmbasierte Visualisierungsmethoden heranreicht. Dem Paradigma der Spatial Augmented Reality folgend, präsentieren wir eine Methode, um in dynamischer Weise und mit Hilfe eines digitalen Projektors molekulare Eigenschaften direkt auf der Oberfläche von 3D-gedruckten Modellen zu visualisieren. Im Rahmen dieser Arbeit wurde ein Prototyp entwickelt, bestehend aus Hardware und Software, der das Tracking des Modells, sowie das Rendering von farbkodierten Moleküleigenschaften und deren Projektion auf die Oberfläche des plastischen Modells, ermöglicht. Unter Einbezug von Informationen über die Geometrie des 3D-gedruckten Modells, die optischen Eigenschaften des Projektors und die exakte räumliche Beziehung zwischen Projektor und Modell, können die erzeugten Projektionen in Echtzeit aktualisiert werden, sodass sie während einer Benutzeraktion mit dem plastischen Modell registriert bleiben. Wir untersuchten außerdem die Benutzbarkeit und die potenzielle Anwendbarkeit des entwickelten Systems in Rahmen einer kleineren Benutzerstudie, im Zuge derer wir hilfreiche Rückmeldungen von Experten auf den Gebieten der Biochemie und der Molekularbiologie erhielten.

The now widely available 3D-printing technology enables structural molecular biologists to easily produce tangible models of large and complex molecules, which can aid them in understanding their spatial structure. Those models, however, are static and often monochrome, therefore their information content cannot compete with existing screen-based visualization solutions. Following the paradigm of spatial augmented reality, we present an approach to dynamically visualize molecular properties directly on the surface of 3D-printed tangible models, using a digital projector. We developed a prototype system consisting of hardware and software, that enables the tracking of the tangible model and the rendering of color-coded molecular properties, which are then projected onto the tangible surface. Using knowledge about the geometry of the molecular model, the optical properties of the digital projector and the exact spatial relation between projector and model, the rendered projections are updated in real-time, such that they stay registered with the tangible model during user interaction. We evaluated the usability and potential applicability of the developed system by collecting feedback from domain experts from the fields of biochemistry and molecular biology.