Regularisation and shrinkage estimation for dynamic linear models

Abstract

Diese Dissertation beschäftigt sich mit Shrinkage-Verfahren (Regularisierungsmethoden) zur Schätzung und Vorhersage von Zustandsraummodellen im Bayesianischem Kontext. Zeit-variable Parameter Modelle sind eine wichtige Modellklasse, die der Modellierung von zeitabhängigen Prozessen dienen. Die Schätzung dieser Modellklasse kann durch die steigende Anzahl von Parametern erschwert werden und zu einem Verlust statistischer Effizienz führen. Um diesem Effizienzverlust entgegen zu wirken und die Qualität von Prognosen zu verbessern, wurden Regularisierungsmethoden entwickelt. Den Kern der Arbeit bildet eine Shrinkage-Methode für zeitabhängige Parameter Modelle unter Zuhilfenahme einer speziellen a-priori Verteilung. Es wird gezeigt, wie die Schätzung von dynamisch linearen Modellen mit Hilfe der Verwendung der Normal-Gamma Verteilung durchgeführt und verbessert werden kann. Dadurch ist es möglich, automatisch zwischen zeit-abhängigen und zeit-unabhängigen Prozessen zu unterscheiden. Darüber hinaus werden alternative a-priori Shrinkage-Verteilungen diskutiert. Einen wichtigen Beitrag dieser Dissertation stellt die Einführung von Shrinkage-Methoden im Besonderen auf die Prozessvarianzen der Zustandsgleichung dar. Für die Schätzung dieser Modelle unter Berücksichtigung der Shrinkage Verfahren werden effiziente Algorithmen entwickelt. Diese Algorithmen wechseln zwischen verschiedenen Parametrisierungen der Zustandsraummodelle um die Konvergenzgeschwindigkeit der erzeugten Markov-Ketten zu beschleunigen. Weitere Punkte der Arbeit sind eine Diskussion über die Approximation von Vorhersagedichten und Algorithmen zur Generierung dieser Approximationen und ein Shrinkage Verfahren unter Zuhilfenahme einer Mischungsverteilung mit zwei Komponenten. Alle vorgestellten Methoden werden erfolgreich an simulierten Daten und zwei Fallstudien - einer univariaten und einer multivariaten - demonstriert.

This thesis deals with shrinkage for time-varying parameter models (TVP) in the Bayesian context and especially the normal-gamma shrinkage prior (Griffin and Brown (2010)) is used as a method for variance selection. Thus this thesis extends previous work based on spike-and-slab priors (Frühwirth-Schnatter und Wagner (2010)) and Bayesian Lasso type priors (Belmonte et al (2014)). The estimation procedure of the TVP with shrinkage model will be discussed and an an efficient MCMC estimation scheme, exploiting boosting ideas such as ancillarity-sufficiency interweaving (Yu and Meng (2011)) is developed. For the TVP model with shrinkage a predictive analysis is performed and the advantages of using a Kalman mixture approximation to evaluate the one-step ahead predictive densities is included. The practicability of the TVP model with shrinkage will be presented in univariate and multivariate real world data applications. Further I introduce the mixture TVP model, where I combine the TVP model with a mixture prior with a spike and a slab component. An advantage of the mixture TVP model over the TVP with shrinkage model is, that posterior inclusion probabilities can be calculated as a instrument for classification. A concluding simulation study demonstrates that the process variances can be correctly selected.