Understanding the Lasso: Distribution, model selection properties and confidence sets

Abstract

Diese Dissertation befasst sich mit dem Lasso Schätzer und seinen Eigenschaften, insbesondere mit der Verteilung des Schätzers und der Konstruktion von gleichmäßig gültigen Konfidenzmengen (welche auf dem Lasso basieren). Im ersten Kapitel wird eine Methode entwickelt, um die minimale Überdeckungswahrscheinlichkeit des Schätzfehlers für eine Klasse von Mengen zu bestimmen. Die zulässigen Mengen müssen hierbei lediglich eine recht schwache Bedingung erfüllen, welche von der Regressormatrix abhängt. Mithilfe dieses Resultats werden sodann auf dem Lasso basierende Konfidenzmengen konstruiert. Diese sind sowohl für endliche Stichproben, als auch asymptotisch, im Fall eines konservativ eingestellten Lassos, anwendbar. Für den Fall eines konsistent eingestellten Schätzers wird eine asymptotisch gültige Konfidenzmenge mit Überdeckungswahrscheinlichkeit eins angegeben.Das zweite Kapitel behandelt die Verteilungseigenschaften des Lasso Schätzers. Hierbei wird zunächst die Verteilungsfunktion des Schätzers hergeleitet. Im niedrigdimensionalen Fall kann die Verteilung aber auch mittels (auf die jeweils aktiven Komponenten) bedingte Dichtefunktionen beschrieben werden. Anschließend wird eine spezielle Beziehung zwischen Lasso und Kleinstquadrateschätzer hergeleitet. In dem Kapitel wird ebenfalls herausgearbeitet, dass der Schätzerin gewissen hochdimensionalen Situationen manche Regressoren nie, das heißt für keinen Wert der abhänigen Variable, auswählt. Diese Menge ist hierbei ausschließlich durch die Regressormatrix, sowie den Penalisierungsvektor bestimmt.Das dritte Kapitel wendet sich wieder dem Thema der Konfidenzmengen zu und erweitert die vormals entwickelten Konzepte. Hierbei wird zunächst der Fall der unbekannten Fehlervarianz behandelt. Es folgt eine Diskussion der Konstruktion von für einzelne Komponenten optimierte Konfidenzmengen, sowie der Fall des partiellen Lassos, bei dem nicht alle Komponenten penalisiert werden. Es folgt eine Analyse, ob eine adaptive (das heißt, von den aktiven Komponenten abhängige) Wahl der Form der Konfidenzmengen und des zu überdeckenden Sub-Parameters eine valide Prozedur darstellt. Schließlich wird gezeigt, dass die vorherige Schätzung des Vorzeichen des wahren Parameters mit darauf folgender Verwendung dieses Ergebnisses in der Konstruktion von Konfidenzmengen keine asymptotisch korrekten Konfidenzmengen liefert.

Within this thesis we analyze the Lasso estimator and its properties, such as its distribution as well as methods of inference that are based on a Lasso estimate. In the first chapter we give a lower bound for the coverage probability of the Lasso’s estimation error for a large class of sets that satisfy a rather weak condition which depends on the design matrix. This enables the construction of uniformly valid confidence sets for the entire parameter vector based on a Lasso estimate in finite samples as well as in an asymptotic setup where theestimator is tuned to perform conservative model selection. Additionally, we give an asymptotic probability one confidence set in the case where the Lasso is tuned to perform consistent model selection.The second chapter deals with the estimator’s properties, in particular providing its distributionin high and low dimensions. In the low-dimensional case the distribution is given explicitly by the cumulative distribution function, but can also be specified by a number of conditional densities (given the corresponding active sets). We also describe the unique relationship between the Lassoand the Least-squares estimator. We additionally give insight into the estimator’s model selection properties and in particular show that in a high-dimensional setting the estimator may not select certain variables at all, independent of the response.The final chapter again turns to the topic of Lasso-based confidence sets, extending the concepts developed in the first chapter: We consider the unknown variance case and explore the question of how to construct uniformly valid confidence sets for single components. The latter case is also considered in the case where a partial Lasso is applied (i.e., if some components are not penalized at all). We also investigate the validity of a procedure that is designed only to coverthe estimator’s non-zero components in an optimal way, meaning that the choice of the confidence set’s shape depends on the selected model. Finally, we consider an adaptive procedure, where the confidence set’s shape is optimized for a given sign of the parameter. Hereby the sign is estimated by a conservative estimation procedure. However, it is shown that this approach does not yield uniformly valid confidence sets.