Safeguarding the ephemeral : photogrammetry for graffiti documentation

Abstract

Graffiti sind voller polarisierender Gegensätze. Ständig sichtbar in urbanen Lebensräumen sind sie auch sehr vergänglich. Von vielen gehasst, von einigen geduldet, von manchen geliebt. Trotz der herausragenden Rolle im öffentlichen Diskurs und im öffentlichen Raum gibt es vergleichsweise wenige wissenschaftliche Initiativen, die sich mit dem, im wahrsten Sinne, vielschichtigen Phänomen Graffiti beschäftigen. Dies ist überraschend, wenn man den Reichtum an Inhalten bedenkt, den Graffiti darstellen. Inzwischen gibt es immer mehr Wissenschaftler und Wissenschaftlerinnen, die (moderne) Graffiti als kulturelles Erbe betrachten, das linguistische, anthropologische, kriminologische, ethnografische, historische und viele andere Bereiche berührt. Unabhängig von der Position in diesem Diskurs fehlt es bisher an soliden Daten für fundierte Analysen zum Thema Graffiti. Zwar gibt es einzelne Dokumentationsprojekte, diese weisen jedoch häufig Lücken oder mangelnde Objektivität auf. In dieser Dissertation wird mit Hilfe der Photogrammetrie ein methodischer Rahmen entwickelt, um die Basis für eine umfassende Datengrundlage für eine tiefere Auseinandersetzung mit Graffiti zu schaffen.Diese Dissertation untersucht den Wiener Donaukanal, mit ca. 13km Länge eine der weltweit größten zusammenhängenden Graffitilandschaften. Eine zentrale Herausforderung der Graffiti-Dokumentation ist die Identifizierung neuer Werke, die aufgrund der großen Fläche und schnellen Veränderungen besonders zeitaufwändig ist. Um diesen Prozess zu verbessern, wurde eine automatisierte, bildbasierte Methode zur Erkennung von relevanten Veränderungen entwickelt. Das Verfahren nutzt einen inkrementellen Bündelblock und synthetische Kameras zur Erzeugung synthetischer ko-registrierter Graffitibilderpaare. Diese fließen in eine hybride Änderungserkennungspipeline ein, die pixel- und merkmalsbasierte Methoden kombiniert. Der Ansatz wurde an einem öffentlich verfügbaren Referenzdatensatz mit 6902 Bildpaaren validiert, der im Rahmen dieser Arbeit erstellt wurde. Mit einer Genauigkeit (accuracy) von 87% und einer Sensitivität (recall) von 77% zeigen die Ergebnisse, dass der vorgeschlagene Arbeitsablauf zur Erkennung von Veränderungen neu hinzugefügte Graffiti in einer Graffitilandschaft detektieren kann und somit eine umfassendere Graffitidokumentation unterstützt.Neben der Identifikation neuer Graffiti ist die räumliche und zeitliche Dekontextualisierung eine der größten Herausforderungen in der Graffiti-Dokumentation, da Graffiti meist an Ort und Zeit gebunden sind. Fotografien allein reichen nicht aus, um diesen Kontext zu bewahren. Diese Studie untersucht daher den Einsatz photogrammetrischer Techniken zur besseren Erfassung des räumlichen und zeitlichen Bezugs. Orthophotos erweisen sich als besonders geeignet, da sie eine präzise Georeferenzierung ermöglichen und frei von topografischen und perspektivischen Verzerrungen sind und die Linsenverzeichnung korrigiert wird. Zur effizienten Umwandlung großer Bildmengen in Orthophotos wurde ein Workflow entwickelt und in der Software AUTOGRAF (AUTomated Orthorectification of GRAFfiti photos) implementiert. AUTOGRAF nutzt einen inkrementellen Bündelblock-Ansatz, um neue Fotos zu orientieren, daraus aktuelle 3D-Modelle der Szenen zu generieren und schließlich die Bilder zu orthorektifizieren. In einem Experiment mit 826 Fotos, die insgesamt 100 neue Graffiti abbilden, zeigte sich, dass AUTOGRAF für 95% der Graffiti zufriedenstellend Orthophotos generiert und damit auch die Datenbasis für eine 3D-Webplatform liefern kann, um Graffiti in ihrem ursprünglichen, wenn auch virtuellen, Kontext darzustellen.Zusätzlich zu den Studien entlang des Donaukanals widmet sich diese Dissertation einer Fallstudie zur Dokumentation von Graffiti von Migranten und Migrantinnen in heimlichen Migrationsstationen an der türkischen Westküste, einer Schlüsselregion auf der gefährlichen Route von der Türkei nach Griechenland. Grundlage für diese Studie war eine 12-tägige Forschungsreise, in der zwei verlassene, von Migranten und Migrantinnen genutzte Gebäude untersucht wurden. Die dort gefundenen Graffiti sind stille Zeugen dieser prägenden Erfahrungen. Angesichts ihres vergänglichen Charakters sowie der schwierigen Bedingungen vor Ort - begrenzter Zugang, schlechte Beleuchtung und Stress – stellte die Dokumentation besondere Schwierigkeiten dar. Die meist mit Kreide, Steinen oder Lippenstift angebrachten Graffiti und die schnell verfallenden Gebäude machen eine systematische Erfassung umso dringlicher. Durch die Bewahrung dieser fragilen Spuren in Form von Orthophotos und texturierten 3D-Modellen trägt diese Studie zu einem tieferen Verständnis zeitgenössischer Migration und ihrer verborgenen Erzählungen bei. Sie dient zugleich als Sammlung von Primärbelegen für Ereignisse, die nicht nur individuelle Schicksale prägen, sondern auch den öffentlichen Diskurs und die politische Agenda beeinflussen.Die vorgestellten Studien zeigen die Vielfältigkeit des Themas Graffiti und die diversen Möglichkeiten, die die Photogrammetrie bietet um dieses flüchtige Kulturerbe (digital) zu bewahren. Durch die Vorstellung und freien Verfügungstellung dieser Ansätze und Implementierungen soll diese Arbeit sowohl Graffiti-Enthusiasten und Enthusiastinnen als auchWissenschaflter undWissenschaftlerinnen Unterstützung und Inspiration für die Dokumentation dieser einzigartigen Form des menschlichen Ausdrucks bieten.

Graffiti are full of polarising contrasts. Constantly visible in urban living spaces, they are also very transient. Hated by many, tolerated by some, loved by others. Graffiti, applied in public, often stir up the public. Despite its prominent role in public discourse and public space, there are comparatively few academic initiatives that deal with the literally multi-layered phenomenon of graffiti. This is surprising when you consider the wealth of content that graffiti represents. There are now more and more academics who view (modern) graffiti as cultural heritage that touches on linguistic, anthropological, criminological, ethnographic, historical and many other areas. Regardless of the position in the discourse, there has been a lack of solid data for well-founded analyses on the subject of graffiti. Although there are some documentation projects, these often show gaps in documentation or a lack of scientific objectivity. This dissertation uses photogrammetry to develop a methodological framework in order to set a basis for a comprehensive and reliable data basis.This dissertation examines Viennese Donaukanal (eng. Danube Channel), one of the world’s largest contiguous graffiti-scapes with a length of approximately 13 km. A central challenge of graffiti documentation is the identification of new works, which is difficult and time-consuming due to the large areas and rapid changes. To improve this process, an automated, image-based method for recognizing changes was developed. The method uses an incremental bundle block adjustment approach and synthetic cameras to generate synthetic co-registered graffiti images. These are fed into a hybrid change detection pipeline that combines pixel- and feature-based methods. The approach was validated on a publicly available reference dataset with 6902 image pairs, which was created as part of this work. With an accuracy of 87% and a recall of 77%, the results show that the proposed change detection workflow can effectively indicate newly added graffiti while ignoring other, irrelevant changes such as shadows.In addition to the identification of new graffiti, the spatial and temporal decontextualization is one of the greatest challenges in graffiti documentation, as graffiti is usually tightly bound to space and time. Photographs alone are not sufficient to preserve this context. This study therefore investigates the use of photogrammetric techniques to better capture the spatial and temporal aspect. Orthophotos proved to be particularly suitable as they allow precise georeferencing and are free from topographic, perspective and lens distortions. A workflow was developed and implemented in the AUTOGRAF (AUTomated Orthorectification of GRAFfiti photos) software to efficiently convert large quantities of images into orthophotos. AUTOGRAF uses an incremental bundle block adjustment approach to orient new photos, generate up-to-date 3D models of the scenes and finally orthorectify and georeference the images. In an experiment with 826 photos depicting a total of 100 graffiti, AUTOGRAF was able to process 95% of the graffiti without major errors and thus provide the data basis for a 3D web platform to display graffiti in its native, albeit virtual, context.In addition to the studies along the Donaukanal, this dissertation is dedicated to a case study on the documentation of migrants’ graffiti in clandestine migration stations on the Turkish west coast, a key region on the dangerous route from Turkey to Greece. The basis for this study was a 12-day research trip during which, among others, two abandoned buildings featuring extensive graffiti related to clandestine migration were examined. The graffiti found there are silent witnesses to these formative experiences. Given their ephemeral nature and the difficult conditions on site - limited access, poor lighting and stress - the documentation presented particular difficulties. The graffiti, mostly made with chalk, stones or lipstick, and the rapidly decaying buildings make systematic recording all the more urgent. By preserving these fragile traces in the form of orthophotos and textured 3D models, this study contributes to a deeper understanding of contemporary migration and its hidden narratives. It also serves as a collection of primary evidence of events that not only shape individual destinies but also influence public discourse and the political agenda.The studies show the diversity of the subject of graffiti and the various possibilities that photogrammetry offers to (digitally) preserve this ephemeral cultural and inherently participatory phenomenon. By presenting and making available these ideas, results and implementations, this work aims to provide valuable assistance to both graffiti enthusiasts and professionals in their efforts to document this unique form of human expression.