Projection Pursuit with Distance Correlation and Distance Variance: Closed-Form Riemannian Gradients on the Unit Sphere and the Stiefel Manifold

Abstract

Lineare Dimensionsreduktion wird zumeist durch Kriterien zweiter Ordnung bestimmt: Die Methode der kleinsten Quadrate erfasst die Kovarianz zwischen Zielgröße und Prädiktoren, die Hauptkomponentenanalyse jene unter den Prädiktoren. Ist die Abhängigkeit nichtlinear und symmetrisch oder liegt die relevante Struktur einer Projektion in ihrer Form statt in ihrer Varianz, können solche Kriterien die gesuchte Richtung vollständig verfehlen.Distanzbasierte Abhängigkeitsmaße weisen diese Einschränkung nicht auf. Die vorliegende Arbeit untersucht das numerische Problem, zwei solcher Maße über Projektionen zu maximieren: die quadrierte Distanzkorrelation im überwachten und die Distanzvarianz, ein Streuungsmaß, im unüberwachten Fall. Für keine der beiden Maximierungen existiert eine geschlossene Lösung, und beide Zielfunktionen sind nicht konkav.Der methodische Beitrag ist die Herleitung eines Riemannschen Gradienten in geschlossener Form für beide Indizes auf der Einheitssphäre und der Stiefel-Mannigfaltigkeit. Dadurch wird die Suche zu einer Optimierung erster Ordnung auf einer Mannigfaltigkeit, wobei die Berechnung eines Gradienten weniger Aufwand erfordert als eine finite Differenz. Die Korrektheit des Gradienten wird anhand zentraler Differenzen und zweier ableitungsfreier Verfahren überprüft.Es folgen eine überwachte und eine unüberwachte Simulation sowie eine Fallstudie zu Überrenditen von Anleihen. Zwei Grenzen der verwendeten Zielfunktion werden aufgezeigt, aber nicht behoben. Da die Zielfunktion Einzelbewertungen der Richtungen addiert, bleibt sie für Abhängigkeiten zwischen den Richtungen blind. Darüber hinaus entfernt keine lineare Deflation nichtlineares Signal. Jede Strategie zur Bestimmung einer zweiten Richtung bleibt daher hinter der von der Zielfunktion geforderten Unabhängigkeit zurück; die hier empfohlene Strategie ist lediglich die am wenigsten problematische unter den untersuchten Möglichkeiten.Code und Daten zur Reproduktion aller Ergebnisse dieser Arbeit sind verfügbar unter\url{https://github.com/maxscheiblauer/Dcor-SDR-Dvar-PP}.

Linear dimension reduction is most often steered by criteria of second order: ordinary least squares reads a covariance between the response and the predictors, principal component analysis one among the predictors. Where the dependence is nonlinear and symmetric, or where the interesting structure of a projection lies in its shape rather than in its variance, such criteria can miss the direction entirely.Distance-based measures of dependence do not carry this blind spot. This thesis treats the numerical problem of maximising two of them over projections: the squared distance correlation in the supervised case, and the distance variance, a dispersion index, in the unsupervised one. Neither maximisation has a closed-form solution, and both objectives are non-concave.The methodological contribution is a closed-form Riemannian gradient for both indices on the unit sphere and on the Stiefel manifold. Hereby the search becomes a first-order optimisation on a manifold, at a cost per step below that of a finite difference. The gradient is examined against central differences and against two derivative-free solvers. A supervised simulation, an unsupervised simulation and a case study on excess bond returns follow. Two limitations are recorded rather than resolved. The objective adds per-direction scores and is hereby blind to dependence between the directions it selects. Furthermore, no linear deflation removes nonlinear signal, so every strategy for extracting a second direction falls short of the independence the objective asks for, and the one recommended here is the least flawed of them rather than a sound one.Code and data to reproduce every result in this thesis are available at https://github.com/maxscheiblauer/Dcor-SDR-Dvar-PP.