Autonomous orchestration of computing continuum systems through active inference

Abstract

Als Gesellschaft sind wir mittlerweile in hohem Maße von einer Vielzahl an Internet of Things (IoT) Geräten umgeben, die all jene intelligenten Systeme ermöglichen, mit denen wir tagtäglich interagieren. Die meisten dieser Anwendungen erfordern die Verarbeitung von IoT-Daten mit geringer Latenz, was den Umstieg zu Edge-Computing, also der Verarbeitung in nächster Nähe zur IoT Quelle, einläutete. Dennoch hat sich gezeigt, dass Edge-Computing das traditionelle Cloud-basierte Computing nicht ersetzt. Vielmehr hat sich in der Praxis eine Kombination mehrerer Rechenebenen als vorteilhaft erwiesen, die zu einer zusammenhängenden Plattform – dem sogenannten Computing Continuum (CC) – führt. Das CC ermöglicht die Verteilung und Ausführung von Microservices (dt. Mikrodienste) entsprechend ihrer individuellen Anforderungen. Um diese Anforderungen sicherzustellen – spezifiziert als Service Level Objectives (SLOs) – erfordert es schnelle Reaktionen auf das Laufzeitverhalten; daher muss diese Entscheidungslogik auch von den Services dezentralisiert ausgeführt werden. Allerdings ist dies problematisch, da die Services keine globale Übersicht darüber haben, wie sich ihre Aktionen auf abhängige Dienste auswirken, was die Erfüllung ihrer SLOs gefährdet. Darüber hinaus werden gängige Skalierungsmaßnahmen, wie die Bereitstellung zusätzlicher Ressourcen, selten von heterogenen Edge-Geräten unterstützt; die Definition eines benutzerdefinierten Skalierungsverhaltens pro Gerätetyp erscheint nicht zielführend. Um Microservices vor Umgebungsdynamiken zu schützen, ist es daher erforderlich, flexible Skalierungslösungen zu entwickeln, die den genauen Kontext jedes Services berücksichtigen. Zur Schließung dieser Forschungslücke präsentiert diese Thesis eine Lösung für die autonome Orchestrierung von CC-Systemen, welche sich im Laufe der Zeit weiterentwickelt, um den Anforderungen aller eingebetteten Komponenten gerecht zu werden. Unterstützend wirkt dabei das Konzept der Active Inference (AIF), welches aus den Neurowissenschaften stammt und darauf abzielt, die Interaktionen zwischen einer Komponente und ihrer Umgebung zu modellieren. Durch gezielte Erkundung der Umgebung identifiziert AIF externe Faktoren, die sich auf die lokale SLO-Erfüllung auswirken, was erklärt, warum ein SLO zu einem bestimmten Zeitpunkt verletzt wurde. Umgekehrt quantifizieren wir, wie sich lokale Aktionen unter bestimmten Bedingungen auf die Umgebung auswirken, was bei der Ermittlung der optimalen Elastizitätsstrategie hilft. Gemeinsam verwenden wir dies, um ein kohärentes Modell der Verarbeitungsumgebung zu erstellen, mit dem sich abschätzen lässt, wie sich die Aktionen eines einzelnen Dienstes (z.B. seine Elastizitätsstrategien) auf die gesamte CC-Architektur auswirken. In der Folge lässt sich auch der erwartete Ressourcenverbrauch ableiten, was die Möglichkeit, Dienste auf dem selben physischen Geräten auszuführen, erheblich verbessert. Das kohäsive CC-Modell bildet den Kern dieser Arbeit; die dem CC innewohnende Dynamik führt jedoch dazu, dass solche Modelle mit der Zeit immer ungenauer werden, was sich wiederum auf die Qualität der abgeleiteten Orchestrierungsmechanismen auswirkt. In diesem Sinne stellt diese Arbeit auch ein funktionierendes Ökosystem zur kontinuierlichen Aktualisierung und Verfeinerung dieser Service-Interpretationsmodelle während der Laufzeit vor. Hervorzuheben ist, dass alle in dieser Arbeit vorgestellten Konzepte in physischen Testumgebungen implementiert und evaluiert wurden, was den Weg für zukünftige Evaluierungen in groß angelegten Umgebungen ebnet.

Today, we are surrounded by an immense number of Internet of Things (IoT) devices that power the smart environments we interact with on a daily basis. Most of these applications require low-latency processing of IoT data, which heralded the shift of processing resources to the Edge. Nevertheless, Edge computing has not replaced traditional Cloud-based computing; rather, the combination of multiple computing tiers into a cohesive platform - called the Computing Continuum (CC) - has shown synergies. As such, the CC allows microservices to be distributed according to their individual requirements. Ensuring requirements - formulated as Service Level Objectives (SLOs) - requires rapid response to runtime behavior, so this logic must also be executed decentralized by the services. However, this is problematic because services lack a global view of how their actions affect dependent services, jeopardizing their ability to meet SLOs. Furthermore, common scaling actions, such as provisioning additional resources, are rarely supported by heterogeneous Edge devices; defining a custom scaling behavior per device type seems exhaustive. Thus, for protecting microservices from environmental dynamics, the CC requires flexible scaling solutions that take into account the precise context of each service. To address this research gap, this thesis presents a framework for autonomous orchestration of CC system, which evolves over time to meet the requirements of all its embedded components. This behavior is driven by Active Inference (AIF), a concept from neuroscience that seeks to model the interactions between a component and its environment. Through exploration, AIF identifies external factors that impact local SLO fulfillment and explain why an SLO was violated at a specific time. Conversely, we quantify how local actions affect the environment under certain conditions, which helps identify the optimal elasticity strategy. Together, we use this to build a cohesive model of the processing environment, which can estimate how an individual service's actions (e.g., its elasticity strategies) affect the entire CC architecture. As such, it can also infer the expected resource consumption, which greatly improves the possibility to co-locate services in multi-tenant environments. While this cohesive CC model forms the core of this thesis, the inherent dynamism in the CC causes such models to become increasingly inaccurate over time, which in turn affects the quality of the inferred orchestration mechanisms. To that extent, this thesis also presents a working ecosystem for continuously updating and refining these service interpretation models at runtime. Notably, all concepts presented in this thesis were implemented and evaluated in physical testbeds, paving the way for embedding them in large-scale environments for subsequent evaluations.