Adaptive Hilbert space approximations for mixtures of Gaussian processes

Abstract

Bayesian nonparametric (BNP) regression is a Bayesian method for predicting an unknown function modeled as a stochastic process given a finite number of observations. The most prominent instance of BNP regression is Gaussian process (GP) regression. In a practical implementation of BNP regression, limited computational resources necessitate approximations of the underlying stochastic process. Hilbert space approximations, which approximate the stochastic processes in terms of a finite basis expansion, are highly efficient for low-dimensional inputs. These approximations, however, typically require the stochastic process to be wide-sense stationary (WSS), which is inadequate for many real-world scenarios.In this work, we present a mixture of BNP experts model that approximates non-stationary stochastic processes using finitely many WSS processes as experts. A generative gating network, which performs a probabilistic assignment of the input space to the experts, allows us to generalize Hilbert space approximations from single stochastic processes to the mixture of BNP experts model. We focus on two adaptive basis expansions to approximate the BNP experts, which rely on the eigenfunctions of the covariance operator or of a suitably defined differential operator. We also develop Gibbs sampling-based algorithms for prediction and discuss their computational complexity. As a practically appealing special case of the Hilbert space approximation of the general mixture of BNP experts model, we present an adaptive Hilbert space approximation for mixture of Gaussian process (MoGP) experts model with a Gaussian mixture model (GMM) as the gating network. We present simulations comparing the predictive performance of this approximate GMM-gated MoGP experts model to GP regression. Finally, we demonstrate the use of the approximate GMM-gated MoGP experts model for predicting the reference signal received power in mobile wireless communication networks.

Die Bayessche nichtparametrische (BNP) Regression ist eine Bayessche Methode zur Vorhersage einer unbekannten Zufallsfunktion, d. h. eines stochastischen Prozesses, unter Berücksichtigung einer endlichen Anzahl von Messwerten. Das bekannteste Beispiel für die BNP-Regression ist jene, bei der der stochastische Prozess als Gaußscher Process (GP) angenommen wird. Aufgrund begrenzter Rechenleistung erfordert die praktische Umsetzung der BNP-Regression eine näherungsweise Beschreibung des zugrunde liegenden stochastischen Prozesses. Im Fall niedrigdimensionaler Definitionsmengen ist eine sehr effiziente näherungsweise Beschreibung durch Hilbertraum-Approximationen mittels endlicher Basisentwicklungen des stochastischen Prozesses gegeben. Derartige Näherungen erfordern jedoch in der Regel, dass der stochastische Prozess schwach stationär ist. Die Annahme schwacher Stationarität ist aber in viele realen Szenarien ungerechtfertigt. In dieser Arbeit wird ein BNP-Experten-Mischmodell präsentiert, das nichtstationäre stochastische Prozesse unter Verwendung von endlich vielen schwach stationären Prozessen als Experten approximiert. Ein generatives Gating-Netzwerk, das die Eingangswerte den Experten probabilistisch zuordnet, ermöglicht eine Verallgemeinerung der Hilbertraum-Approximationen einzelner stochastischer Prozesse auf das BNP-Experten-Mischmodell. In diesem Zusammenhang konzentrieren wir uns auf zwei adaptive Basisentwicklungen, die auf den Eigenfunktionen des Kovarianzoperators oder eines geeignet definierten Differentialoperators beruhen. Des weiteren entwickeln wir Vorhersagealgorithmen unter der Verwendung von Gibbs-Samplern und diskutieren deren rechnerische Komplexität. Als praktisch besonders relevanten Spezialfall der Hilbertraum-Approximation des allgemeinen BNP-Experten-Mischmodells präsentieren wird eine adaptive Hilbertraum-Approximation für ein BNP-Experten-Mischmodell, welches eine Mischung von Gaußschen Prozessen mit einem als Gaußschen Mischmodell realisierten Gating-Netzwerk kombiniert. Mittels Simulationen vergleichen wir die Vorhersageleistung dieses approximativen GP-basierten Experten-Mischmodells mit jener, die sich bei Verwendung eines einzelnen Gaußschen Prozesses ergibt. Diese Simulationsergebnisse werden ergänzt durch numerische Ergebnisse einer Anwendung des vorgeschlagenen Experten-Mischmodells auf die Vorhersage der empfangenen Referenzsignalempfangsleistung in Mobilfunknetzwerken.