Skylark : stateful serverless functions for the edge-cloud-space 3D-continuum

Abstract

Serverlose Funktionen ermöglichen es Entwicklern, sich auf die Anwendungslogik zu konzentrieren, während die Plattform die Infrastrukturverwaltung wie Laufzeitverwaltung und Skalierung abstrahiert. In rein Cloud-basierten Umgebungen stützt sich dieser Ansatz in der Regel auf zentralisierte Cloud-Speicher von Drittanbietern, was zu hohen Latenzen führe kann. Darüber hinaus stammen die Daten, die als Funktionsinput verwendet werden, oft von Sensoren am Netzwerkrand (Edge). Die Daten müssen daher große Entfernungen zum Rechenzentrum überwinden, was die Netzwerkbelastung und Latenzen weiter erhöht. Die Verlagerung der Funktionsausführungsumgebung in die Nähe der Datenquelle kann dem entgegenwirken. Wenn LEO-Satelliten (Low Earth Orbit) in die Datenverarbeitungsstruktur integriert werden und so ein Edge-Cloud-Space (3D)-Kontinuum bilden, wird die Netzwerktopologie aufgrund der Orbitalbewegung der Satellitenknoten dynamisch. Edge-Geräte in abgelegenen Gebieten wie dem Amazonas-Regenwald können LEO-Satelliten nutzen, um dem Netzwerk beizutreten. Ständige Satellitenbewegungen und schwankende Verbindungsqualitäten erschweren jedoch die Entscheidungen über die Datenplatzierung für serverlose Anwendungen, die aus mehreren, voneinander abhängigen Funktionen bestehen. Traditionelle, Cloud-zentrierte Serverless-Modelle sind für Serverless-Workflows, die im heterogenen und dynamischen 3D-Kontinuum eingesetzt werden, nicht geeignet.In dieser Arbeit wird Skylark vorgestellt, ein neuartiges serverloses Framework für das 3D-Kontinuum. Skylark bietet lokalen Speicher auf jedem Cluster-Knoten und führt den Skylark Elect Service und Skylark SDK ein, um den datentransfer von voneinander abhängigen Funktionen zu optimieren. Ein Netzwerktopologie- und SLO-bewusster Datenübertragungsmechanismus wählt Nachfolgeknoten für die Speicherung des Funktionsausgangszustands auf Grundlage der Netzwerktopologie und Funktionsverfügbarkeit aus. Darüber hinaus verbessert ein Datenbündelungsmechanismus die Effizienz der Datenverwaltung, indem er die Daten verkoppelter Funktionen als eine Einheit für Lese- und Schreibeoperationen behandelt.Wir evaluieren Skylark anhand eines serverlosen Workflows, der einen Anwendungsfall zur Erkennung von Waldbränden modelliert, welcher die Verarbeitung von Bilddaten erfordert. Unsere experimentellen Ergebnisse zeigen, dass Skylark im Vergleich zu herkömmlichen Architekturen und eine auf Zufall basierende Datenplatzierungsstrategien die Latenz des Workflows um bis zu 33% und die Lesezeit um bis zu 66% reduziert, während der Durchsatz um bis zu 91% erhöhrt wird. Der Datenbündelungsmechanismus verringert die Latenz bei der Funktionsausführung um bis zu 24%, indem er die Anzahl von Speicheroperationen minimiert. Diese Ergebnisse zeigen die Fähigkeit von Skylark, die Ausfürhungszeiten von serverlosen Anwendungen im Edge-Cloud-Space-3D-Kontinuum zu verbessern, und ebnen den Weg für effizientere und skalierbare serverlose Anwendungen in dynamischen, heterogenen Umgebungen.

Serverless functions enable developers to focus on application logic while the platform abstracts infrastructure management, such as runtime and scaling. In purely cloud-based environments, this approach typically relies on centralized, third-party cloud storage for function state, which introduces latency and bandwidth overhead. Additionally, data used as function input often originates at the network edge but must traverse large distances to a remote data center, exacerbating these overheads. Moving the function execution environment close to the data source (i.e., Edge computing) can ease latency and network strain. When Low Earth Orbit (LEO) satellites are added to the computing fabric, forming an Edge-Cloud-Space (3D) Continuum, the network topology becomes dynamic due to the orbital movement of satellite nodes. Edge devices in remote areas, such as the Amazon rainforest, can leverage LEO satellites to join the network. However, constant satellite movement and fluctuating link qualities further complicate state placement decisions for serverless applications comprised of multiple, interdependent functions. Traditional, cloud-centric serverless models are ill-suited for serverless workflows deployed in the heterogeneous and dynamic 3D Continuum.This thesis introduces Skylark, a novel serverless framework designed for stateful serverless computing in the 3D Continuum. The proposed architecture provides local storage on each node and introduces the Skylark Elect Service and Skylark SDK to optimize state management of function input and output state. Two novel mechanisms leverage the architecture: i) a network topology- and SLO-aware state propagation mechanism, responsible for target storage election for function output state, and ii) a state bundling mechanism, responsible for enhancing state management efficiency by treating co-located function state as a single unit for data retrieval and migration operations.We evaluate Skylark through a serverless workflow modeling a wildfire detection use case that requires image data processing. Our experimental results demonstrate that Skylark reduces workflow latency by up to 33% and state retrieval time by up to 66% compared to stateless architectures and random state placement strategies while increasing throughput by up to 91%. The state bundling mechanism decreases function execution latency by up to 24% by minimizing redundant storage operations. These findings highlight Skylark's ability to improve stateful serverless execution across the 3D Continuum, paving the way for more efficient and scalable serverless applications in dynamic, heterogeneous environments.