Deep Gestures : a human-machine drawing conversation

Abstract

Deep Gestures_a human-machine drawing conversation_This master thesis explores the space of possibilities oered by the convergence of novel Machine Learning techniques and established Numerical Fabrication technology, by focusing on applications in the context of the early stages of the design process.By experimentally engaging with the making and the programming of an interactive drawing machine in its hardware and software components, this research oers an alternative interpretation to the praxis of sketching and of intuitively representing ideas in the two-dimensional space.Moving away from the concept of computers as passive receivers of pre-conceived creative impulses, the machine here is framed as an active instrument which is capable of perceiving and processing external inputs. As the machine co-participates in the unfolding of the creative process, the role of the designer/user is necessarily re-dened.Currently, applications of Machine Learning in the creative eld are mostly focused on the processing of pixel-based images or texts. As part of the thesis, the potential of a Hierarchical Generative Network for the creation of vector les in the SVG format (DeepSVG) is investigated. As opposed to image creation in raster format, vector representation opens the door to digital production, since its properties allow for a direct translation to machine code and CNC operations.The core of the thesis is composed of a set of experiments investigating user-machine interaction for a simple, feedback-based, design process. The physical drawing of a user is fed to a neural network by means of computer vision techniques (by retrieving the topological skeleton). The pre-trained network generates new content by interpolating the user input with a selected item from a large library of vector icons, the SVG-Icons8 dataset. The set of newly machine-generated frames is ltered by the user, who chooses a single solution to be printed back in the physical space by a custom-made pen plotter. By engaging in this open-ended process of interaction, the user can build up further drawn responses to feed to the machine, which in turn will keep on generating new and unexpected content until the process is stopped according to user dened criteria.Rather than solving a specic design problem, an experimental Machine Learning application is designed and explored. The main objective of this work is not looking for a single optimal solution, but it is the creative exploration of the unfolding of a hybrid process of collaboration.

Diese Masterarbeit erforscht die Möglichkeiten, die sich aus der Konvergenz neuartiger Techniken des maschinellen Lernens und etablierter Technologien der numerischen Fabrikation ergeben, indem sie sich auf Anwendungen im Kontext der frühen Phasen des Designprozesses konzentriert. Durch die experimentelle Auseinandersetzung mit der Fertigung und Programmierung einer interaktiven Zeichenmaschine in ihren Hardware- und Softwarekomponenten bietet diese Forschung eine alternative Interpretation der Praxis des Skizzierens und der intuitiven Darstellung von Ideen im zweidimensionalen Raum. In Abkehr vom Konzept des Computers als dem passiven Empfänger von vorgefassten kreativen Impulsen wird die Maschine hier als aktives Instrument verstanden, das in der Lage ist, externe Eingaben wahrzunehmen und zu verarbeiten. Da die Maschine an der Entfaltung des kreativen Prozesses teilnimmt, wird die Rolle des Designers/Nutzers zwangsläufig neu definiert. Derzeit konzentrieren sich Anwendungen des maschinellen Lernens im kreativen Bereich meist auf die Verarbeitung von pixel-basierten Bildern oder Texten. Im Rahmen dieser Arbeit wird das Potenzial eines Hierarchischen Generativen Netzes für die Erstellung von Vektordateien im SVG-Format (DeepSVG) untersucht. Im Gegensatz zur Bilderstellung im Rasterformat öffnet die Vektordarstellung die Tür zur digitalen Produktion, da ihre Eigenschaften eine direkte Übersetzung in Maschinencode und CNC-Operationen ermöglichen. Der Kern der Arbeit besteht aus einer Reihe von Experimenten zur Untersuchung der Benutzer-Maschine-Interaktion für einen einfachen, Feedback-basierten Designprozess. Die physische Zeichnung eines Benutzers wird mit Hilfe von Computer-Vision-Techniken (durch Abrufen des topologischen Skeletts) in ein neuronales Netz eingespeist. Das trainierte Netzwerk generiert neue Inhalte durch Interpolation der Benutzereingabe mit einem ausgewählten Element aus einer großen Bibliothek von Vektorsymbolen, dem SVG-Icons8-Datensatz. Die maschinell erzeugten Bilder werden vom Benutzer gefiltert, der eine einzige Lösung auswählt, die dann mit einem speziell angefertigten Stiftplotter in den physischen Raum gedruckt wird. Durch diesen ergebnisoffenen Interaktionsprozess kann der Benutzer weitere gezeichnete Antworten erstellen, die ihrerseits immer wieder neue und unerwartete Inhalte generiert, bis der Prozess nach benutzerdefinierten Kriterien gestoppt wird. Anstatt ein spezifisches Designproblem zu lösen, wird eine experimentelle Anwendung für maschinelles Lernen entworfen und erforscht. Das Hauptziel dieser Arbeit ist nicht die Suche nach einer einzigen optimalen Lösung, sondern die kreative Erforschung der Entfaltung eines hybriden Prozesses der Zusammenarbeit.