Efficient and Interpretable Deep State Space Models for Sequence Processing

Abstract

Diese Arbeit untersucht, wie Konzepte aus der linearen Regelungstechnik als Entwurfswerkzeug dienen können, um die Effizienz, Interpretierbarkeit und physikalische Realisierung von State Space Models (SSMs) zu verbessern – einer neuen Klasse von neuronalen Netzwerkarchitekturen, die von der Theorie linearer, zeitinvarianter (LTI) dynamischer Systemeinspiriert ist. Obwohl SSMs von der Regelungstechnik inspiriert sind, werden ihre trainierten Parameter selten aus regelungstechnischer Perspektive analysiert oder optimiert. Die vorliegende Arbeit zeigt, dass Eigenwertanalyse, Übertragungsfunktionsdarstellungen und Model Order Reduction (MOR) praktische Werkzeuge über den gesamten Lebenszyklus tiefer SSM-Architekturen hinweg sind – vom Entwurf und Training bis hin zur Komprimierung und physikalischen Realisierung.Wir schlagen S-Edge vor, eine hardwarefreundliche diagonale SSM-Schicht, die Eingabe-, Zustands- und Ausgabedimensionen voneinander entkoppelt und so eine schichtweise Steuerung der Rechenkomplexität ermöglicht. Die zeitkontinuierliche Parametrisierung ermöglicht die Anpassung an unterschiedliche Abtastraten ohne erneutes Training und wird durchschichtweises Downsampling genutzt, um den Inferenzaufwand für die Audioklassifizierung zu reduzieren. Die Eigenwert- und Übertragungsfunktionsanalyse liefert interpretierbare Einblicke in die gelernten Dynamiken, leitet Entscheidungen zum Downsamplingund quantifiziert Diskretisierungseffekte. Die Modelle werden für die Klassifizierung von Roh-Audio Daten und für die Klaviersynthese evaluiert. Auf dieser Grundlage identifiziert die Parameterreduktion nach dem Training mittels MOR-basierter ausgewogener Trunkierung dynamisch redundante Zustände in trainierten SSM-Schichten und ermöglicht so eine strukturierte Komprimierung ohne erneutes Training. Es zeigt sich, dass dasselbe Pruning-Kriterium die Ausdruckskraft zufällig initialisierter linearer rekurrenter Reservoirs verbessert und die hohen Inferenzkosten reduziert, die typischerweise mit dem Reservoir-Computing verbunden sind, während gleichzeitig eine wettbewerbsfähige Leistung bei Benchmarks zur Zeitreihenklassifizierung beibehalten wird. Schließlich werden durch die Auferlegung struktureller Einschränkungen auf diagonale, komplexwertige SSMs zwei Interpretationen etabliert: als parallele Filterbänke zweiter Ordnung mit ausschließlich Polen, die gedämpften oszillierenden Systemen entsprechen, und als lernbare Schichten zur Extraktion von Amplitudenspektrogrammen. Diese Interpretationen verbinden die tiefe SSM-Parametrisierung direkt mit der klassischen Signalverarbeitungslehre und führen zu strukturierten initialisierungsstrategien, die bei Verwendung in einem Reservoir-Computing-Setup zufällige Baselines übertreffen. Durch die weitere Ausweitung dieser physikalischen Verbindung lassen sich gelernte SSM-Dynamiken in der kontinuierlichen Zeit exakt auf analoge elektrische Schaltungen abbilden, was einen konkreten Weg hin zur vollständig analogen Inferenz in neuronalen Netzen aufzeigt.

This thesis investigates how concepts from linear control theory can serve as a design tool to improve the efficiency, interpretability, and physical realization of deep State Space Models (SSMs), a recent class of neural network architectures motivated by Linear Time Invariant (LTI) dynamical systems theory. While deep SSMs are inspired by control theory, their trained parameters are rarely analyzed or optimized through a control-theoretic perspective. This thesis demonstrates that eigenvalue analysis, transfer function representations, and Model Order Reduction (MOR) are practical tools across the full lifecycle of deep SSM architectures, from design and training to compression and physical realization. We propose S-Edge, a hardware-friendly diagonal SSM layer that disentangles input, state, and output dimensions, enabling per-layer control of computational complexity. The continuous-time parameterization allows adaptation to different sampling rates without retraining, and is exploited through layer-wise downsampling to reduce inference cost for audio classification. Eigenvalue and transfer function analysis provide interpretable insight into learned dynamics, guiding downsampling decisions and quantifying discretization effects. Models are evaluated for raw audio classification and piano audio synthesis.Building on this foundation, post-training parameter reduction via MOR-based balanced truncation identifies dynamically redundant states in trained SSM layers, enabling structured compressionwithout retraining. The same pruning criterion is shown to improve the expressiveness of randomlyinitialized linear recurrent reservoirs, reducing the high inference cost typically associated with reservoir computing while maintaining competitive performance on time-series classification benchmarks.Finally, by imposing structural constraints on diagonal complex-valued SSMs, two interpretationsare established: as parallel second-order all-pole filter banks corresponding to damped oscillatory systems, and as learnable magnitude spectrogram extraction layers. These interpretations connect the deep SSM parameterization directly to classical signal processing theory and yield structured initialization strategies that outperform random baselines when used in a reservoir computing setup. Extending the physical connection further, learned continuous-time SSM dynamics are mapped exactly onto analog electric circuits, demonstrating a concrete path toward fully analog neural network inference.