Bayesian estimation using deep learning-based feature extraction and pseudo-labels

Abstract

Deep learning und Bayessche Schätzung sind wichtige Methodiken der Signalverarbeitung, die unterschiedliche Stärken aufweisen. Die von Bayesschen Schätzern berechneten A-posteriori-Verteilungen sind wesentlich informativer als die von Methoden des deep learning durchgeführten Punktschätzungen. Dessen ungeachtet hat sich deep learning als ein mächtiges Werkzeug für viele komplexe Problemstellungen erwiesen, beispielsweise zur Objektdetektion und -lokalisierung. In dieser Arbeit präsentieren wir eine Methodik, die Bayessche Schätzung und deep learning-basierte Methoden zur Merkmalsextraktion verbindet. Zunächst schlagen wir ein Verfahren zur Lösung eines Bayesschen Schätzproblems vor, für welches eine statistische Beschreibung nicht verfügbar ist. Weiters beschreiben wir drei Methoden für die Rückkopplung transformierter Schätzergebnisse eines Bayesschen Schätzers als korrigierte Merkmale. Diese korrigierten Merkmale, welche auch als ”Pseudo-Labels“ bezeichnet werden,erlauben ein verbessertes Training eines tiefen neuronalen Netzes auf der Grundlage von halbüberwachtem Lernen. Zwei der vorgestellten Methoden ermöglichen die Einbindung der vom Bayesschen Schätzer gelieferten statistischen Information in das Training des tiefen neuronalen Netzes. Als praktische Anwendung der vorgestellten Methodik betrachten wir ein Zielverfolgungsproblem, für das wir ein aus einem tiefen neuronalen Netz und einem sequentiellen Bayesschen Schätzer (Kalman-Filter) bestehendes System entwickeln. Unsere Simulationsergebnisse zeigen, dass tiefe neuronale Netze mit der vorgeschlagenen ”Pseudo-Label“-Methodik eine bessere Leistungsfähigkeit aufweisen als tiefe neuronale Netze, die konventionelles Training auf der Grundlage von halbüberwachtem Lernen verwenden.

The fields of deep learning and Bayesian estimation offer signal processing methods that exhibit unique and contrasting capabilities. The main advantage of Bayesian estimation methods is that they provide a detailed description of the signal processing results in the form of the posterior distribution, which is considerably more informative than the point estimates provided by conventional deep learning methods. On the other hand, deep learning enjoys huge popularity across various disciplines for its ability to solve complex tasks such as object detection and localization. In this thesis, we present several contributions related to the combination of Bayesian estimation and deep learning-based feature extraction. First, we propose a methodology for solving an intractable Bayesian estimation problem for which an accurate statistical model is unavailable. Second, we introduce three approaches for feeding back transformed estimates produced by a Bayesian estimator as corrected features, called “pseudo-labels,” which allow us to retrain a deep neural network in a semi-supervised way. Two of these approaches incorporate statistical information from the Bayesian estimator in the training of the deep neural network. As a practical application of the proposed framework and pseudo-labeling techniques, we consider a target tracking problem. We develop a tracking system consisting of a deep neural network and a sequential Bayesian estimator, in particular a Kalman filter. Our numerical results demonstrate that the proposed pseudo-labeling techniques can lead to an improved deep neural network performance compared with a deep neural network trained by conventional semi-supervised learning.