Diagonal State Space Models for Tiny Embedded Systems

Abstract

Die Verarbeitung kontinuierlicher Sensorsignale ist eine zentrale Herausforderung für industrielle und eingebettete Systeme. In vielen Anwendungen ist es weder effizient noch wünschenswert, große Mengen roher Sensordaten dauerhaft an leistungsfähige zentrale Recheneinheiten zu übertragen.Stattdessen sollen Daten möglichst früh lokal verarbeitet, verdichtet und abstrahiert werden. Diese lokale Verarbeitung erfolgt häufig auf sehr kleinen, kostengünstigen und stark ressourcenbeschränkten Mikrocontrollern (MCU).Moderne tiefe State Space Models (SSMs) sind eine vergleichsweise junge Klasse neuronaler Netzwerke (NN), die auf Zustandsraummodellen aus der System- und Regelungstechnik aufbaut. Solche Modelle können als rekurrente Filter interpretiert werden und sind aufgrund ihres kompakten Zus-tands, ihrer streamingfähigen Auswertung und ihrer analytischen Struktur besonders interessant für eingebettete Sequenzverarbeitung. Ihre praktische Verwendung ist jedoch nicht trivial. Werden SSMs direkt auf hochfrequente Rohsignale angewendet, kann die Verarbeitung jedes einzelnen Zeitschritts den Rechenaufwand dominieren. Zudem sind SSM-Schichten in bestehenden eingebetteten Implementierungswerkzeugen noch nicht in gleicher Weise etabliert wie klassische Feed-forward-Operatoren.Diese Dissertation behandelt beide Probleme durch drei komplementäre Beiträge. Zunächst wird der Rechenaufwand diagonaler SSMs durch strukturelle Modellanpassungen und zeitliche Reduktion innerhalb des Netzwerks reduziert. In S-Edge (chapter 5) wird dazu schichtweises Downsampling (layer-wise downsampling) eingeführt, wodurch tiefere Netzwerkschichten mit geringeren effektiven Abtastraten betrieben werden können, ohne die rekurrente Inferenz aufzugeben. Diese zeitliche Sparsität wird während des Trainings zusätzlich durch die neue Regularisierungsmethode Random Zero Order Hold (RZOH) unterstützt, welche die Robustheit der einzelnen Blöcke gegenüber reduzierten Abtastraten verbessert.Anschließend wird in Mag-SSM (chapter 6) eine spezifische Interpretation komplexer diagonaler SSMs genutzt, um die erste Schicht als trainierbare spektrogrammähnliche Front-End-Struktur zu formulieren. Dadurch werden Frequenzextraktion und zeitliche Reduktion direkt in das Modell integriert. Zusätzlich wurde im Verlauf der Dissertation ein C++20-Inferenz-Framework (chapter 4) entwickelt, um diese Modelle auf eingebetteten Systemen ausführen, optimieren und vermessen zu können. Die eigens entwickelte Implementierung ermöglicht eine detaillierte Kontrolle über Operatorreihenfolge, Speicherlayout, Zustandsverwaltung und arithmetische Operationen. Dadurch konnten Optimierungen untersucht werden, die in typischen eingebetteten Implementierungswerkzeugen nur schwer oder nicht direkt abbildbar sind. Dazu gehören eine speichereffiziente Reihenfolge der Operatoren, die Verschmelzung von Operatoren zur Reduktion von Speicherzugriffen sowie die tiefenabhängige, zustandserhaltende Ausführung von Teilgraphen.In Zahlen ausgedrückt reduzieren die vorgeschlagenen Modelle den Rechenaufwand gegenüber der Vergleichsbasis um mehrere Größenordnungen. Für die untersuchte Signalworterkennung benötigen die kausalen Modelle zwischen 5 k und 200 k Gleitkommaoperationen (FLOPs), verglichen mit mehr als 10 GFLOPs für die akausale S5-Vergleichsbasis [1]. Diese starke Reduktion des Rechenaufwands,zusammen mit dem Übergang von akausalen zu kausalen Modellen, führt je nach Modell und Betriebspunkt zu einer Verringerung der Klassifikationsgenauigkeit um etwa 1–7 Prozentpunkte. Der Übergang zu kausaler Inferenz ist jedoch nicht nur aus Sicht des Rechenaufwands wichtig. Er reduziert auch den benötigten Arbeitsspeicher erheblich: Die untersuchten Modelle benötigen während der Ausführung nur etwa 1 kB bis 5 kB RAM. Zum Vergleich benötigt bereits eine einzelne rohe Eingabesequenzetwa 64 kB, während die erste Feature-Map des akausalen Basismodells etwas mehr als 6 MB Speicher benötigen würde.Um den Kreis zu schließen, wurde die gesamte Pipeline von der Sensoraufnahme über die Ver-arbeitung bis zur Weiterleitung der Ergebnisse implementiert. Diese Demonstrationseinheit verwendet ein Onboard-Mikrofon und führt eine von zwei Netzwerkkonfigurationen in Echtzeit auf einem Arm Cortex-M4F des PSoC6-AI Evaluation Kits aus, der mit 100 MHz betrieben wird. Die gemessene Verzögerung zwischen dem jeweils neuesten für eine Vorhersage relevanten Eingangssample und der aktualisierten Klassifikation liegt dabei unter 1 ms für die Tiny-Konfiguration und unter 10 ms für die größere Konfiguration. Die implementierte Tiny-Konfiguration benötigt ungefähr 1 kB RAM und aktualisiert ihre Vorhersage mit ungefähr 300 Hz, während die größte implementierte Konfiguration weniger als 5 kB RAM benötigt, ihre Vorhersage mit ungefähr 70 Hz aktualisiert und weiterhin Rechenreserve auf der Zielhardware lässt.

Embedded sequence processing requires models that are accurate, memory-efficient, and fast enough for real-time inference under severe hardware constraints. State Space Models (SSMs) are promising in this setting because they support recurrent streaming inference with compact persistent state and build on decades of analysis from control and systems theory. At the same time, their practical deployment is nontrivial: when applied directly to raw high-frequency signals, the cost of processing every timestep can dominate the overall system. This creates a deployment challenge at two levels. At the model level, SSMs must be adapted so that sequence length, state dimension, and feature dimensions remain compatible with embedded compute and memory budgets. At the implementation level, SSM layers are not yet first-class primitives in typical embedded deployment toolchains, which are largely optimized for feed-forward neural-network operators.This thesis addresses both challenges. First, it reduces the computational demand of diagonal SSMs through structural model design and temporal reduction inside the network. In hardware-friendly SSMlayer (S-Edge) (chapter 5), layer-wise downsampling is introduced as a post-training optimization that reduces the effective sampling rate of deeper layers while preserving recurrent inference. This is com-plemented by Random Zero Order Hold (RZOH), which improves robustness to such temporal sparsity during training. Second, Magnitude Spectrogram State Space Model (Mag-SSM) (chapter 6) moves tem-poral reduction and frequency extraction into the first layer by interpreting complex diagonal SSMs astrainable spectrogram-like front ends. Finally, the thesis presents a C++20 inference framework (chap-ter 4) that enables the resulting models to be implemented, optimized, and evaluated on embedded hardware.The resulting structural modifications reduce the computational demand of raw-audio SSMs by several orders of magnitude. For the investigated keyword-spotting task, the proposed causal models require between 5 k and 200 k Floating point operatons (FLOPs), compared with more than 10 GFLOPsfor the acausal S5 model (S5) baseline [1]. This reduction in compute, together with the transition to causal streaming inference, comes at an accuracy degradation of approximately 1–7 percentage points,depending on the model and operating point. The move to causal inference is important beyond arithmetic cost: it substantially reduces working-memory requirements and makes continuously operating neural-network inference much easier to realize.These results are validated in a complete embedded audio pipeline. The system captures audio withan onboard microphone, performs continuous causal inference on an Arm Cortex-M4F at 100 MHz,and classifies 35 keywords plus a none class. The implemented Tiny configuration requires less than2 kB of RAM and updates its prediction at approximately 300 Hz. The largest implemented configuration requires less than 5 kB of RAM, updates its prediction at approximately 70 Hz, and still leaves computational headroom.