An RKHS approach to estimation with sparsity constraints

Abstract

Die Untersuchung der Auswirkungen von Spärlichkeitsbedingungen (SB) in verschiedenen Problemen der Signalverarbeitung ist ein wichtiges Ziel der aktuellen Forschung. Unter SB versteht man das Vorwissen, dass das Nutzsignal als Superposition weniger "Elementarsignale" dargestellt werden kann. In dieser Arbeit beziehen sich die SB auf das Vorwissen, dass ein zu schätzender Parametervektor wenige (im Vergleich zu seiner Länge) Einträge aufweist, die von Null verschieden sind. Diese Vektoren werde dann als "spärlich" (sparse) bezeichnet.<br />Solche SB spielen eine zentrale Rolle in der Theorie von "Compressed Sensing" (CS). Im Rahmen von CS werden die SB verwendet, um eine (nahezu) verlustfreie Datenkompression durchzufüren. Diese Datenkompression wird dabei mit dem Prozess des Messens einer physikalischen Größe kombiniert.<br />Im Gegensatz zu CS kann man die SB auch zur Versbesserung bestehender Signalverarbeitungsmethoden benutzen. In dieser Arbeit steht diese zweite Möglichkeit im Vordergrund. Ein wesentliches Ziel ist die Quantifizierung der durch SB bewirkten potenziellen Leistungsverbesserung.<br />Es werden zwei verschiedene Schätzprobleme mit SB im Detail analysiert.<br />Im ersten Problem, dem "sparse linear model" (SLM), bestimmt der unbekannte spärliche Parametervektor in linearer Weise den Mittelwert eines beobachteten Gaußschen Zufallsvektors. Im zweiten Problem, hier als "sparse parametric covariance model" (SPCM) bezeichnet, bestimmt der unbekannte spärliche Parametervektor die Kovarianzmatrix eines beobachteten Gaußschen Zufallsvektors.<br />Die Hauptergebnisse dieser Arbeit sind untere Schranken für die Varianz von Schätzern für diese beiden Schätzprobleme. Es wird gezeigt, dass die Theorie der "reproducing kernel Hilbert spaces" (RKHS) eine elegante Ableitung von unteren Varianzschranken erlaubt. Die gefundenen Schranken gestatten einen natürlichen Vergleich von Schätzproblemen mit und ohne SB.<br />

The investigation of the effects of sparsity or sparsity constraints in signal processing problems has received considerable attention recently. Sparsity constraints refer to the a priori information that the object or signal of interest can be represented by using only few elements of a predefined dictionary. Within this thesis, sparsity refers to the fact that a vector to be estimated has only few nonzero entries.<br />One specific field concerned with sparsity constraints has become popular under the name "Compressed Sensing" (CS). Within CS, the sparsity is exploited in order to perform (nearly) lossless compression.<br />Moreover, this compression is carried out jointly or simultaneously with the process of sensing a physical quantity.<br />In contrast to CS, one can alternatively use sparsity to enhance signal processing methods. Obviously, sparsity constraints can only improve the obtainable estimation performance since the constraints can be interpreted as an additional prior information about the unknown parameter vector which is to be estimated. Our main focus will be on this aspect of sparsity, i.e., we analyze how much we can gain in estimation performance due to the sparsity constraints.<br />We will study in detail two specific estimation problems that are already well investigated in the absence of sparsity constraints. First, we consider an estimation problem coined the "sparse linear model" (SLM). Here, the unknown parameter determines the mean of an observed Gaussian random vector. Second, we consider an estimation problem that we refer to as the "sparse parametric covariance model" (SPCM). In this case, the unknown parameter determines the covariance matrix of an observed Gaussian random vector.<br />The main results of this thesis will be lower bounds on the variance of estimators for these two sparse estimation problems. We will demonstrate that the mathematical framework of reproducing kernel Hilbert spaces (RKHS) allows a simple derivation of lower bounds on the estimator variance and, moreover, a natural comparison of estimation problems with and without sparsity constraints.<br />