Enhancing an artificial neural network : extended Kalman filter learning approach by considering data- and model-related uncertainties for geodetic applications

Abstract

Based on a special machine learning approach, consisting of an artificial neural network (ANN) as approximation function and an extended Kalman filter (EKF) as optimisation method, a methodology for the identification of geodetic systems is derived in this thesis. This ANN-EKF learning approach is enhanced by the consideration of data-, model- or data- and model-related uncertainties. Depending on the geodetic application, one aspect of each of the three groups of uncertainties is considered. The systems to be identified are a robot arm, for which the position uncertainty is to be improved by calibration, and real estates whose value is to be determined. While the robot arm is a controllable, data-producible system with a realisable reference and low local heterogeneity; real estates are a system which is limited in inputs, in data samples, in the realisation of a reference and exhibits little empirical evidence and strong local heterogeneity.The differences in the geodetic systems result in different research objectives. The robot arm system provides a controlled environment (data can be generated, a reference can be realised) and knowledge about geometric/physical laws is available. Thus, it is possible to pursue two enhancements of the ANN-EKF learning approach for the robot arm application. These base on data- and model-related uncertainties and are mainly supported by the EKF. The inherent variance propagation in the EKF enables accounting for the random variability of the measurements. Realistic random variabilities of the robot arm positions measured by a reference are derived. Due to the existing system description in the EKF, it is also possible to integrate a geometric system into the ANN-EKF learning method. The aim is to create a methodological framework that allows the incompleteness of the model to be reduced. Real estate is a limited and complex system. The biggest limiting factor of real estate valuation based on the German purchase price collection is the small data sample. The data sample is enlarged by aggregating submarkets to achieve an advantageous ANN-EKF learning. Although this increases the sample size, it is also likely to increase the complexity of the system. The incomplete data causes a model-related uncertainty. Therefore, the interaction between data- and model-related uncertainty is analysed.The first finding deals with the effects of considering data-related uncertainties in the ANN-EKF learning. The best generalisation result (minimum test error) is achieved by considering realistic data-related uncertainties in the ANN-EKF learning of the robot arm position corrections. The learning procedure becomes more expressive due to a meaningful setting of the learning rate. In addition, insignificant ANN parameters are eliminated and smaller model structures can be achieved. The second finding concerns the development of a framework for the integration of a parametric model into ANN-EKF learning to enable a reduction in model-related uncertainty. The integrated ANN-EKF approach is built as a residual model. Testing the functionality based on simulated data shows a necessary introduction of an additional ANN iteration to achieve the adaptivity of machine learning (ML) approaches. The analysis of model complexity as a function of reduced data samples enables the derivation of minimum sample sizes for ANN-EKF learning and corresponds to the third finding. The methods of cross-validation (CV) and structural risk minimisation (SRM) in the down-sampling procedure are used and adapted for the purposes of the geodetic systems. While the SRM determines a critical number of required samples at 5000, the CV provides a stable region starting from 9000 samples for a spatially aggregated data set.The aggregation of submarkets is an appropriate approach for enlarging the sample size. The real estate valuation on basis of cross submarket ANN-EKF learning is comparable to local valuation methods.The first two findings relate to two current topics in scientific machine learning (sciML). These are the consideration of uncertainties in ML and physics-informed machine learning (PIML), which are of interest for many fields of application such as earth observation. The developed toolbox of the ANN-EKF learning method enables the consideration of these two aspects. Finding three complements this toolbox to test these approaches of included prior information on smaller model complexities or smaller sample sizes.

Basierend auf einem speziellen maschinellen Lernverfahren, bestehend aus einem künstlich neuronalenNetz (ANN) als Approximationsfunktion und einem erweiterten Kalman Filter (EKF) als Optimierungsme-thode, wird eine Methode zur Identifikation von geodätischen Systemen in dieser Dissertation abgeleitet. Dieser ANN-EKF-Lernansatz wird durch die Berücksichtigung von daten-, modell- oder daten- und modellbezogenen Unsicherheiten erweitert. Je nach geodätischer Anwendung wird jeweils ein Aspekt der drei Unsicherheitsgruppen berücksichtigt. Bei den zu identifizierenden Systemen handelt es sich um einen Roboterarm, für den die Positionsunsicherheit durch Kalibrierung verbessert werden soll, und um Immobilien, deren Wert bestimmt werden soll. Während der Roboterarm ein steuerbares, datenproduzierendes System mit einer realisierbaren Referenz und geringer lokaler Heterogenität ist, handelt es sich bei den Immobilien um ein System, das in den Einflussgrößen, in den Datenstichproben und in der Realisierung einer Referenz begrenzt ist und wenig empirische Evidenz und starke lokale Heterogenität aufweist. Die Unterschiede in den geodätischen Systemen führen zu unterschiedlichen Forschungszielen. Das Roboterarmsystem bietet eine kontrollierte Umgebung (Daten können erzeugt werden, eine Referenz kann realisiert werden) und Wissen über geometrische/physikalische Gesetze ist verfügbar. Daher ist es möglich, zwei Weiterentwicklungen des ANN-EKF-Lernansatzes für die Roboterarm-Anwendung zu verfolgen. Diese basieren auf daten- und modellbezogenen Unsicherheiten und werden durch den EKFunterstützt. Die inhärente Varianzfortpflanzung im EKF ermöglicht die Berücksichtigung der zufälligen Variabilität der Messungen. Es werden realistische Zufallsvariabilitäten der durch eine Referenz gemessenen Roboterarm-Positionen abgeleitet. Aufgrund der vorhandenen Systembeschreibung im EKF ist es möglich, auch ein geometrisches Modell in das ANN-EKF-Lernverfahren zu integrieren. Ziel ist es, einen methodischen Rahmen zu schaffen, mit dem die Unvollständigkeit des Modells reduziert werden kann. Immobilien sind ein begrenztes und komplexes System. Der größte limitierende Faktor der Immobilienbewertung auf Basis der deutschen Kaufpreissammlung sind die kleinen Datenstichproben. Um ein vorteilhaftes ANN-EKF-Lernen zu erreichen, wird die Datenstichprobe durch Aggregation von Teilmärkten vergrößert. Dies vergrößert zwar die Stichprobe, erhöht aber auch die Komplexität des Systems. Die unvollständigen Daten verursachen eine modellbedingte Unsicherheit. Daher wird die Interaktion zwischen daten- und modellbezogener Unsicherheit analysiert. Die erste Erkenntnis befasst sich mit den Auswirkungen der Berücksichtigung von datenbezogenen Unsicherheiten beim ANN-EKF-Lernen. Das beste Generalisierungsergebnis (minimaler Testfehler) wird durch die Berücksichtigung realistischer datenbezogener Unsicherheiten beim ANN-EKF-Lernen der Positionskorrekturen des Roboterarms erreicht. Das Lernverfahren wird durch eine sinnvolle Adaption der Lernrate aussagekräftiger. Darüber hinaus werden unbedeutende ANN-Parameter eliminiert und kleinere Modellstrukturen können erreicht werden. Die zweite Erkenntnis behandelt die Entwicklung eines Rahmens für die Integration eines parametrischen Modells in das ANN-EKF-Lernverfahren, um eine Reduktion der modellbedingten Unsicherheit zu ermöglichen. Der integrierte ANN-EKF-Ansatz wird als Residualmodell aufgebaut. Die Prüfung der Funktionalität auf der Basis simulierter Daten zeigt, dass die Einführung einer zusätzlichen ANN-Iteration notwendig ist, um die Adaptivität von ML-Ansätzen zu erreichen. Die Analyse der Modellkomplexit¨at in Abhängigkeit von reduzierten Stichproben ermöglicht die Ableitung von minimal erforderlichen Stichprobengrößen für das ANN-EKF-Lernen und entspricht der dritten Erkenntnis dieser Disseration. Die Methoden der Kreuzvalidierung (CV) und der strukturellen Risikominimierung (SRM) werden zur Beschreibung der Modellkomplexität verwendet und für die Zwecke der geodätischen Systeme angepasst. Während die SRM eine kritische Anzahl von benötigten Stichproben bei 5000 ermittelt, liefert die CV eine stabile Region ab 9000 Stichproben für einen räumlich aggregierten Datensatz. Die Aggregation von Teilmärkten ist ein geeigneter Ansatz zur Vergrößerung des Stichprobenumfangs. Die Immobilienbewertung auf Basis des teilmarktübergreifenden ANN-EKF-Lernverfahrens ist mit lokalen Bewertungsverfahren vergleichbar. Die ersten beiden Erkenntnisse beziehen sich auf zwei aktuelle Themen im wissenschaftlichen maschinellen Lernen (sciML). Dies sind die Berücksichtigung von Unsicherheiten im ML und physikalisch informierte maschinelle Lernverfahren (PIML), die für viele Anwendungsbereiche wie z.B. die Erdbeobachtung von Interesse sind. Der entwickelte Baukasten der ANN-EKF-Lernmethode ermöglicht die Berücksichtigung dieser beiden Aspekte. Die dritte Erkenntnis aus dieser Dissertation ergänzt diesen Baukasten, um diese mit Vorinformation integrierten Ansätze auf kleinere Modellkomplexitäten oder kleinere minimale Stichprobengrößen zu testen