Using machine learning (ML) for facade material recognition

Abstract

The building industry uses around 40% of all the available natural resources and is responsible for large amounts of CO2 emissions. Thus, materials that can be successfully recycled and reused play a significant role in sustainable architecture. However, practical implementation of material reuse can be very challenging. Often there is no available data regarding building materials and their suitability for utilization. In this case, materials need to be identified and classified by analysing the existing structure itself. This process depends heavily on pattern recognition and making the correct choice regarding material in the building of interest. Such a task is lengthy, repetitive, and requires a lot of expertise. Therefore, it is perfectly suitable for automation. The goal of the present master's thesis is to show how one of the main methods of Artificial intelligence (AI), namely Convolutional Neural Networks (CNNs), has a promising potential as an instrument for the analysis of building facades. This work outlines the history of major methods of AI and how these means are used in modern architecture. Following that, the network, used as an instrument for facade recognition, is presented, tested, and evaluated. The proposed CNN relies on semantic image segmentation and labels specific parts of an image in accordance with what material is shown on such an image. A database of building facades was created and used for training and evaluation of the CNN's accuracy. The network's performance, possible improvements, implications, and limitations are thoroughly discussed in the last chapters of the thesis.

Die Bauindustrie nutzt rund 40 % aller verfügbaren natürlichen Ressourcen und ist für große Mengen der CO2-Emissionen verantwortlich. Deswegen spielen Recycling und Wiederverwendung von Materialien eine wichtige Rolle in der Entwicklung nachhaltiger Architektur. Die praktische Umsetzung der Wiederverwendung von Material kann jedoch komplex sein. In diesem Fall muss die vorhandene Struktur selbst analysiert werden, um die Materialien zu identifizieren und zu klassifizieren. Dieser Prozess hängt stark von der Mustererkennung und der richtigen Beurteilung der Materialien in einem Gebäude ab. Eine solche Aufgabe ist langwierig, repetitiv und somit sehr gut geeignet für Automatisierung. Ziel der vorliegenden Arbeit ist es, zu zeigen, dass eine der Hauptmethoden der Künstlichen Intelligenz (KI), das Convolutional Neural Networks (CNN), ein vielversprechendes Potenzial als Instrument zur Analyse von Gebäudefassaden besitzt. Die aktuelle Arbeit bietet eine detaillierte Übersicht und Geschichte der wichtigsten Methoden der KI und ihrer derzeitigen Anwendung in der Architektur. Im Folgenden wurde das CNN als Instrument zur Erkennung von Fassaden verwendet, getestet und bewertet. Das vorgeschlagene CNN funktioniert auf Basis einer semantischen Bildsegmentierung und markiert bestimmte Teile eines Bildes entsprechend dem Material, das auf einem solchen Bild gezeigt wird. Eine Datenbank mit Gebäudefassaden wurde erstellt und zur Schulung und Bewertung der Genauigkeit des CNN's verwendet. Die Ergebnisse der CNN Leistung zur Materialerkennung, mögliche Verbesserungen, sowie Implikationen und Einschränkungen der Fassade, werden in den letzten Kapiteln ausführlich beschrieben.