EdgeSync : local-first inference for LLMs in edge-cloud environments

Abstract

Large Language Models (LLMs) werden zunehmend in interaktive Systeme eingebunden, die eine schnelle Inferenz nahe an der Anwendung erfordern. Die Ausführung auf Edge- oder lokal verwalteter Hardware kann Reaktionsfähigkeit, Datenschutz und Unabhängigkeit verbessern, ist jedoch durch begrenzte Rechen- und Speicherressourcen eingeschränkt. Diese Grenzen wirken sich besonders bei autoregressiver Transformer-Inferenz aus, da der für die Fortsetzung der Generierung benötigte Zustand in Form des KV-Caches mit der Sequenzlänge wächst. Die Verlagerung auf leistungsfähigere Remote-Infrastruktur umgeht viele dieser Einschränkungen, bringt jedoch Abhängigkeit vom Netzwerk und zusätzliche Kommunikationslatenz mit sich.Diese Arbeit untersucht, wie die Transformer-Inferenz lokal starten und bei Bedarf zur Laufzeit auf ein entferntes System übergehen kann, ohne den Antwortstrom zu unterbrechen. Dazu wird ein verteiltes Ausführungsmodell entwickelt, in dem die Edge-Seite die stabile Schnittstelle zur Anwendung bleibt, während die Remote-Seite die Fortsetzung der Generierung übernimmt. Unterstützt wird dies durch die Synchronisationsmodi TEXT_MIRROR, TOKEN_MIRROR und KV_MIRROR, Laufzeit-Trigger für den Handover sowie ein konfigurierbares Cache-Management.Die vorgeschlagenen Mechanismen werden in einem verteilten Prototyp umgesetzt und in einer kontrollierten Edge-Remote-Umgebung evaluiert. Die Ergebnisse zeigen, dass die einfachste Local-First-Variante die mittlere Gesamtdauer einer Sitzung im Vergleich zu vollständig lokaler Ausführung um etwa 36 % reduziert und dabei ähnlich niedrige Startlatenzen beibehält. Zudem zeigt die Evaluation, dass eine synchronisierte Übergabe die Unterbrechung am Übergangspunkt um mehr als 90% reduziert und in den stärksten Synchronisationsmodi Werte von über 99% erreicht. Gleichzeitig bleibt die Ausführung auf Remote-Infrastruktur die schnellste Option hinsichtlich der Gesamtdauer einer Sitzung, während der vorgeschlagene Ansatz einen anderen Kompromiss bietet, indem er die Startvorteile lokaler Ausführung erhält und den Übergabezeitpunkt an Laufzeitbedingungen anpassen kann. Insgesamt zeigt die Arbeit, dass eine Laufzeit-Übergabe ein praktikabler Ansatz ist, um Edge-seitige Transformer-Inferenz gezielt, um eine adaptive entfernte Fortsetzung zu erweitern.

Large language models (LLMs) are increasingly integrated into interactive systems that require low-latency inference close to the user.Executing inference on edge or locally managed hardware can improve responsiveness, privacy, and autonomy, but local execution is constrained by limited compute and memory resources.These limits are especially restrictive during autoregressive transformer inference, where continuation state in the form of the KV cache grows with sequence length.Purely remote execution avoids many of these constraints, but introduces network dependence and additional communication latency.This thesis studies how transformer inference can start locally and continue on a remote node during runtime without breaking session continuity.It proposes a distributed execution model in which the edge remains the stable client-facing endpoint while the remote side serves as a continuation target.To support this, the thesis introduces the synchronization modes TEXT_MIRROR, TOKEN_MIRROR, and KV_MIRROR, together with runtime handover triggers and configurable cache management.These mechanisms are implemented in a distributed prototype and evaluated in a controlled edge-remote setup.The evaluation shows that the simplest local-first variant reduces mean total session duration by about 36% compared with fully local execution while preserving similarly low startup latency.It also shows that synchronized handover reduces interruption at the transition point by more than 90%, reaching reductions above 99% for the strongest synchronization modes.At the same time, fully remote execution remains the fastest option in terms of total session duration. The proposed framework provides a different trade-off by preserving the startup advantages of local execution and enabling handover decisions to adapt to runtime conditions.Overall, the thesis demonstrates that runtime handover is a feasible way to extend edge-side transformer inference with adaptive remote continuation.