Processing of façade imagery

Abstract

Modellierung und Rekonstruktion von städtischen Gebieten ist derzeit Gegenstand intensiver Forschung. Der Hauptgrund dieser Anstrengung ist das breite Spektrum möglicher Anwendungen von detaillierten Computermodellen. Beispiele davon sind virtuelle Umgebungen für Cyber-Tourismus, Computerspiele, und die Unterhaltungsindustrie im Allgemeinen, sowie Stadtplanung und Architektur, Sicherheitsplanung und Ausbildung, Verkehrssimulation, Navigation und Telekommunikation, um ein paar zu nennen. Auch die Forschungsrichtungen sind weit gestreut über verschiedene Gebiete, wie Computer Vision, Computergrafik, Bildverarbeitung, Photogrammmetrie und Fernerkundung sowie Architektur und Geowissenschaften. Rekonstruktion ist ein komplexes Problem und es erfordert eine ganze Palette von verschiedenen Aufgaben.<br />In dieser Dissertation konzentrieren wir uns auf die Verarbeitung von Bildern von Fassaden und damit auf einen bestimmten Teilbereich der maschinellen Stadtrekonstruktion. Das Ziel unserer Forschung ist es neue algorithmische Lösungen für spezielle Probleme in Fassadebildverarbeitung zu entwickeln. Der Beitrag dieser Arbeit ist der folgende:<br />Zuerst stellen wir ein System zur Erzeugung von annähernd orthogonalen Ansichten von Fassaden vor. Diese Methode ist eine Kombination aus automatischen und interaktiven Werkzeugen und bietet eine bequeme Möglichkeit qualitativ hochwertige Ergebnisse zu generieren.<br />Das zweite Problem, welches in dieser Arbeit behandelt wird, ist Fassaden-Segmentierung. In der Regel unter Segmentierung versteht man die Unterteilung der Fassade in Fenster und andere architektonische Elemente. Wir sprechen dieses Thema mit zwei verschiedenen Algorithmen zur Erkennung von regulären Strukturen in Fassadenbildern an.<br />Schließlich stellen wir einen Fassadenbild-Verbesserungsalgorithmus vor, mit dem Ziel, die Qualität des Fassaden-Aussehens zu verbessern. Der Algorithmus propagiert visuelle Information über das Bild, um mögliche Hindernisse und verdeckende Objekte zu entfernen.<br />Die Ausgabe unserer Algorithmen ist als Quelle für Texturen in Stadtrekonstruktionsprojekten bestimmt. Die Entwicklung von großen dreidimensionalen urbanen Umgebungen selbst sprengt den Rahmen dieser Arbeit. Allerdings erarbeiten wir eine Sammlung von Werkzeugen zusammen mit ihren mathematischen Grundlagen, die zum Stand der Wissenschaft beitragen und als Bausteine in komplexen Rekonstruktionsprojekten zum Tragen kommen können.<br />

Modeling and reconstruction of urban environments is currently the subject of intensive research. There is a wide range of possible applications, including virtual environments like cyber-tourism, computer games, and the entertainment industries in general, as well as urban planning and architecture, security planning and training, traffic simulation, driving guidance and telecommunications, to name but a few.<br />The research directions are spread across the disciplines of computer vision, computer graphics, image processing, photogrammetry and remote sensing, as well as architecture and the geosciences. Reconstruction is a complex problem and requires an entire pipeline of different tasks.<br />In this thesis we focus on processing of images of facades which is one specific subarea of urban reconstruction. The goal of our research is to provide novel algorithmic solutions for problems in facade imagery processing. In particular, the contribution of this thesis is the following:<br />First, we introduce a system for generation of approximate orthogonal facade images. The method is a combination of automatic and interactive tools in order to provide a convenient way to generate high-quality results.<br />The second problem addressed in this thesis is facade image segmentation. In particular, usually by segmentation we mean the subdivision of the facade into windows and other architectural elements.<br />We address this topic with two different algorithms for detection of grids over the facade image.<br />Finally, we introduce one more facade processing algorithm, this time with the goal to improve the quality of the facade appearance. The algorithm propagates visual information across the image in order to remove potential obstacles and occluding objects.<br />The output is intended as source for textures in urban reconstruction projects. The construction of large three-dimensional urban environments itself is beyond the scope of this thesis. However, we propose a suite of tools together with mathematical foundations that contribute to the state-of-the-art and provide helpful building blocks important for large scale urban reconstruction projects.