Space classification for building information modeling using machine and deep learning methods

Abstract

Building analysis applications across architectural and engineering domains, including architectural design, building systems engineering, life safety engineering, and construction management, rely on accurate and specific space classification data. Currently, building analysis software end users mostly enter such classification data manually. Manual entry of classification data poses various challenges. It is prone to errors, leading to inaccurate analysis. It is time-consuming and significantly slows the analysis process, particularly for large buildings. Therefore, automating space classification is desirable. This dissertation explores existing and emerging machine learning (ML) and deep learning (DL) methods for automating space classification tasks. The focus is on classifying space functions and space access elements, such as doors and accessible openings, across entire floors of apartment buildings. To achieve the research goal, a methodology based on a five-step ML and DL workflow was applied across three studies that examine different aspects of space classification using ML and DL. The workflow consists of problem formulation, data collection, pre-processing, model construction, and model evaluation. In the first study, a multi-view image dataset was created to develop image deep learning (IDL) semantic segmentation models for multi-view space function classification. Results show that the predictive performance was higher for the multi-view than the single-view approach, indicating that the former may better capture the shapes of spaces and space elements. Performance was sensitive to view direction, implying view bias. However, view bias decreased as the number of views increased. Contextual space elements, such as windows and doors, were found to be important for enhancing classification accuracy. A post-processing algorithm was developed to convert pixel labels into space-level classes, facilitating the reuse of space function classification data in BIM applications.In the second study, a dataset with tabular and graph representation formats was created to compare ML and graph deep learning models (GDL), including a novel extended GDL model (eEdgeGAT), for space function and space access element classification. Results show that, among GDL models, those with attention mechanisms and featured relationships had the highest predictive performance. Among ML models, tree-based ML models significantly outperformed other models, indicating a hierarchical feature structure and feature interactions. Further analysis indicates that certain features and relationships of spaces and space access elements were particularly important for predictive performance. Prediction time scaled linearly for ML and non-linearly for GDL models.In the third study, a multimodal dataset with tabular, graph, and multi-view image data formats was created to benchmark five classification methods for space function and space access element classification. Results reveal that GDL models achieved the highest predictive performance. Specifically, HGAT, a novel heterophilic and heterogeneous graph attention network, had the best performance. Feature and relationship analysis for the top-performing ML and GDL models confirmed findings from the second study. Results further show that GDL models required fewer training parameters, less pre-processing, and shorter training times than IDL, natural language processing, and generative models. ML models were less accurate than IDL models but had fewer trainable parameters, shorter training times, and fewer pre- and no post-processing requirements.The overall contributions of this dissertation to space classification research include: i) the systematic exploration and benchmarking of existing and emerging ML and DL methods; ii) the expansion of the spatial scope from single functional units to entire floors with multiple units comprised of spaces and space access elements; and iii) the creation of a multimodal and diverse dataset that supports the development and benchmarking of space classification models.

Anwendungen zur Gebäudeanalyse in den Bereichen Architektur und Ingenieurwesen, einschließlich Architekturentwurf, Gebäudesystemtechnik, Sicherheitsstechnik und Baumanagement, sind auf genaue und spezifische Raumklassifizierungsdaten angewiesen. Derzeit geben Nutzer von Gebäudeanalysesoftware diese Klassifizierungsdaten meist manuell ein. Die manuelle Eingabe von Klassifizierungsdaten hat mehrere Nachteile. Sie ist fehleranfällig und kann zu ungenauen Analysen führen. Sie ist zeitaufwändig und kann den Analyseprozess erheblich verlangsame, insbesondere bei der Analyse von grossen Gebäuden. Aus diesen Gründen ist eine Automatisierung der Raumklassifizierung wünschenswert. Diese Dissertation untersucht bestehende und neuartige Methoden des maschinellen Lernens (ML) und Deep Learning (DL) zur Automatisierung von Raumklassifizierungsaufgaben. Der Schwerpunkt liegt auf der Klassifizierung von Raumfunktionen und Raumzugangselementen über gesamte Geschosse von Mehrfamilienhäusern. Um das Forschungsziel zu erreichen, wurde eine Methodik basierend auf einem fünfstufigen ML- und DL-Workflow in drei Studien angewendet, die verschiedene Aspekte der Raumklassifizierung mittels ML und DL untersuchen. Der Workflow umfasst Problemformulierung, Datenerhebung, Datenvorbearbeitung, Modellkonstruktion und Modellevaluierung. In der ersten Studie wurde ein Datensatz mit Bildern aus mehreren Ansichten erstellt, um semantische Segmentierungsmodelle für Image Deep Learning (IDL) zur Klassifizierung von Raumfunktionen mit Hilfe von mehreren Ansichten zu entwickeln. Die Ergebnisse zeigen, dass die Vorhersagegenauigkeit beim Ansatz mit mehreren Ansichten höher war als beim Ansatz mit einer Ansicht. Dies deutet darauf hin, dass ersterer die Formen von Räumen und Raumelementen besser erfassen kann. Die Genauigkeit war abhängig von der Ansicht, was auf eine Voreingenommenheit hindeutet. Diese nahm jedoch mit zunehmender Anzahl der Ansichten ab. Kontextuelle Raumelemente wie Fenster und Türen erwiesen sich als wichtig für die Verbesserung der Vorhersagegenauigkeit. Es wurde ein Nachbearbeitungsalgorithmus entwickelt, um pixel-basierte in raum-basierte Klassifizierungsdaten zu konvertieren und so die Verwendung von Klassifizierungsdaten in BIM-Anwendungen zu erleichtern.In der zweiten Studie wurde ein Datensatz mit tabellarischen und graphen-basierten Datenformaten erstellt, um ML- und Graph-Deep-Learning-Modelle (GDL), einschließlich eines neuartigen, erweiterten GDL-Modells (eEdgeGAT), für die Klassifizierung von Raumfunktionen und Raumzugangselementen zu vergleichen. Die Ergebnisse zeigen, dass GDL-Modelle, die Aufmerksamkeitsmechanismen und relationalen Features inkludieren, eine deutlich höhere Vorhersagegenauigkeit hatten. Unter den ML-Modellen schnitten baum-basierte ML-Modelle deutlich besser ab als andere Modelle, was auf eine hierarchische Feature-Struktur und Feature-Interaktionen hindeutet. Weitere Analysen zeigen, dass bestimmte Merkmale und Relationen von Räumen und Raumzugangselementen für die Vorhersagegenauigkeit besonders wichtig waren. Die Zunahme der Vorhersagezeit war linear für ML-Modelle und nichtlinear für GDL-Modelle.In der dritten Studie wurde ein multimodaler Datensatz mit tabellarischen und grafischen Datenformaten sowie Bildern aus mehreren Ansichten erstellt, um fünf Klassifizierungsmethoden für die Klassifizierung von Raumfunktionen und Raumzugangselementen zu vergleichen. Die Ergebnisse zeigen, dass GDL-Modelle die höchste Vorhersagegenauigkeit erzielten. Insbesondere HGAT, ein neuartiges heterophiles und heterogenes Graph Attention Network, zeigte die beste Leistung. Die Analyse von Features und Relationen für die leistungsstärksten ML- und GDL-Modelle bestätigten die Erkenntnisse aus der zweiten Studie. Die Ergebnisse zeigen ferner, dass GDL-Modelle weniger Trainingsparameter, weniger Datenvorverarbeitung und kürzere Trainingszeiten erforderten als IDL-Modelle, natural language processing und generative Modelle. ML-basierte Modelle waren zwar weniger genau als IDL-Modelle, hatten aber weniger trainierbare Parameter, kürzere Trainingszeiten und geringere Anforderungen an die Datenvorbearbeitung sowie keine Anforderungen an die Datennachbearbeitung. Die Beiträge dieser Dissertation zur Raumklassifizierungsforschung umfassen insgesamt: i) die systematische Untersuchung und das Benchmarking bestehender und neuartiger ML- und DL-Methoden; ii) die Erweiterung des räumlichen Umfangs von einzelnen funktionalen Einheiten auf gesamte Geschosse mit mehreren Einheiten bestehend aus Räumen sowie Raumzugangselementen; und iii) die Erstellung eines multimodalen und diversen Datensatzes, der die Entwicklung und das Benchmarking von Raumklassifizierungsmodellen unterstützt.