Deformation monitoring using artificial intelligence techniques

Abstract

Deformation Monitoring ist eine gewöhnliche Praxis von Ingenieuren, um die Entwicklung von Tiefbau-Objekten durch geodätische Messungen zu überwachen und verfolgen. Damit soll verhindert werden, dass während der Errichtung ein gefährliches Verhalten auftreten kann. Die gemessenen Objekte sind am häufigsten Wohngebäude, Dämme, Brücken, Tunnel, aber auch Bereiche, die durch Erdbeben und Erdrutschbewegungen betroffen sind. In allen Fällen wenden die Geodäten unterschiedliche Methodologien an, die vor einigen Jahrzehnten entwickelt worden sind, zum Beispiel die Finite-Elemente-Methode (FEM). Mit dem Einzug der Informationstechnologie wurde die Verwendung von solchen Methodologien genauer und einfacher zu implementieren. Die Arbeit in dieser Dissertation wird versuchen, die Anwendungen der Computer- wissenschaft und Methoden der künstlichen Intelligenz in der Ingenieurgeodäsie weiter zu beleuchten, wobei im Fokus des Interesses Wohngebäude stehen. Die Dissertation besteht aus zwei Hauptteilen. In ersten Teil werden unterschiedliche videometrische Analysentechniken unter Verwendung einer Benchmarkserie von Bildern implementiert und getestet, die aus den Wien- und Zürich-Datenbanken stammen, welche Moment- aufnahmen von Gebäudefassaden im öffentlichen Bereich enthalten. Die Bilder werden auch verwendet, um mit einem speziellen Tool eine Serie von Bildern mit künstlichen Deformationen zu erzeugen. Die Techniken zur Bildverarbeitung, die in dieser Dissertation beschrieben werden, dienen dazu, sogenannte Regionen von Interesse (regions of interest, ROI), die kleine geschlossene Räume mit homogenen Deformationen sind, mit einem vorgeschlagenen Objekt-Segmentierungsalgorithmus zu isolieren. Die Ausreisserpunkte, die nach dem Anpassungsprozess zwischen unterschiedlichen Epochen der beobachteten Deformation gelassen werden, werden durch eine Variante des Randomisierten Probe Consensus-Algorithmus (RANSAC) identifiziert, die im Gegensatz zum traditionellen Algorithmus keine fundamentale Matrix nutzt. Schlussendlich werden dann die beob- achteten Punkte mithilfe eines einfachen regelbasierten Expertensystems verarbeitet und sodann entweder als eine möglich gefährliche Deformation oder als eine normale (stehende) Deformation (durch Vergleich der Übersetzung, und/oder der Drehvektoren entlang der X-, Y- und Z-Achse) klassifiziert. Der zweite Teil der Dissertation beschäftigt sich mit der Vorhersage des zukünftigen Verhaltens der Deformationen durch künstliche neuronale Netze (artificial neural net- works, ANN). Zwei unterschiedliche Architekturen werden dabei genutzt: das Endliche Impulsantwort (FIR) ANN, das im Bereich von Zeitreihenvorhersagen sehr bekannt ist, und dessen rekurrente Version, das Endliche Impulsantwort (RFIR) ANN. Um konkrete Netze zu trainieren, wird ein Datenbestand verwendet, der im Rahmen des Tunnel- Projekts -Prokop- durch das Tiefbauunternehmen Energoprojekt in Belgrad gesammelt worden ist; dieses Projekt hat eine Auswirkung auf einige Gebäude in der Umgebung der Ausgrabungsstätte gehabt. Die Deformationsanalyse wird durch die Modifizierte Karlsruher Methode (MKM) ausgeführt, wobei die Hauptpunkte entlang der Angren- zungsdiaphragmen um den Tunnel, aber auch Dutzende von Punkten pro Wohngebäude vorlagen. Weiters wird die statistische Analyse der Messungen durch die MKM Punkte identifizieren, die von der erlaubten Toleranz nicht abweichen, genauso wie Punkte, die während des Baues zerstört wurden. Die neuronalen Netze werden unter Verwendung der Prokop-Daten trainiert, um die zukünftigen Werte der horizontalen und der vertikalen Koordinaten vorherzusagen. Die Prognosepunkte sind alle in den Wohngebäuden, die von verschiedenen Stationen auf der Baustelle aus vermessen worden sind. Die Resultate zeigen, dass sowohl das FIR als auch das RFIR als Tool zur Vorhersage von Deformationen brauchbar ist.

Deformation Monitoring is a common practice used by engineers to monitor and track the development of civil engineering objects by means of geodetic measurements in order to prevent hazardous behaviour that can happen during their construction. Measured objects are most commonly residential buildings, dams, bridges, tunnels, but also areas that are affected by earthquakes and landslide movements. In all cases, the geodetic engineers are applying different methodologies that have been developed several decades ago, e.g. Finite Element Method (FEM). With the emergence of information technology, the usage of such methodologies has become more accurate and easier to implement. The work in this thesis will try to further investigate the applications of computer science and artificial intelligence in engineering geodesy, where the objects of interest will be residential buildings. The thesis consists of two major parts. In the first part, various tools and methods for videometric analysis will be implemented and tested using a benchmark of images taken from the Vienna and Zürich public domain, which contain snapshots of facades of buildings. The images will be used to create a series of simulated images using a warping tool to represent possible deformations. The image processing techniques described in this thesis will be used to isolate the Regions of Interest (ROI), which are small enclosed areas with homogenous deformations using a proposed object segmentation algorithm. The outlier points which are left after the matching process between different epochs of the observed deformation will be identified using a variation of the Randomized Sample Consensus Algorithm (RANSAC) algorithm that does not use a fundamental matrix. Finally, the observed points will then be processed by a simple rule-based expert system, and classified either as a potentially hazardous deformation, or a normal (stagnant) deformation (by comparing the translation, and or rotation vectors along the x, y, and z axes). The second part is concerned with forecasting future behavior of deformations using Artificial Neural Networks (ANN). Two different architectures are used, the Finite Impulse Response (FIR) ANN which are well known in the field of time series prediction, and the recurrent version of this ANN, the Recurrent FIR (RFIR). The data set that will be used to train the networks has been gathered from a tunneling project Prokop by civil engineering company Energoprojekt in Belgrade, which has had an impact on several buildings in the vicinity of the construction site. The deformation analysis has been performed using the Modified Karlsruhe Method (MKM), where the main points of focus were around the abutment diaphragms around the tunnel, but also dozens of points per residential building. Furthermore, the statistical analysis of the measurements using the MKM will identify the points which do not deviate from the allowed lack-of-fit, as well as points which were destroyed during the construction. The neural networks will be trained using the data provided from -Prokop- to predict future values of horizontal and vertical coordinates. The points which will be forecasted are all found in residential buildings, which have been measured from various stations at the construction site. The results show that both the FIR and RFIR networks can be used as a viable tool for predicting deformation measurements.