Self-elective model branching in online machine learning on the edge

Abstract

In der heutigen technologischen Landschaft werden immer mehr Geräte und Sensoren mit dem Internet verbunden. Um die neuen Anforderungen, die dadurch entstehen, zu decken, werden Rechenressourcen an den Rand des Netzwerks – auch Edge genannt – verlagert, was eine Dezentralisierung zur Folge hat. Machine Learning, eine Technologie, die für Anwendungsfälle mit enormen Datenaufkommen besonders geeignet ist, stellt hier keine Ausnahme dar. In der Praxis müssen die eingesetzten Modelle allerdings in vielen Fällen kontinuierlich angepasst werden, da sich auch die zu verarbeitenden Daten ändern können. Dadurch wird eine Synchronisierung der Modelle zwischen den Edge-Knoten erforderlich, um Konsistenz zu gewähren. Durch die statistische Heterogenität, die in solchen Einsatzszenarios oft vorliegt, können aber deutliche Diskrepanzen zwischen globaler und lokaler Modellqualität entstehen, die verheerende Folgen in kritischen Anwendungsfällen wie der medizinischen Versorgung verursachen können. Ansätze zur sogenannten Model Personalization, die das globale Modell an die Daten, die bei den einzelnen Knoten aufliegen, anpassen, werden als Lösung für dieses Problem erforscht. In dieser Diplomarbeit wird eine neue Methode zur Model Personalization vorgestellt, die einen beliebten Federated-Learning-Algorithmus dahingehend modifiziert, bisher verworfene Nebenprodukte des Synchronisierungsprozesses zu verwenden, um die lokale Inferenzqualität zu verbessern, sowie schneller auf Ereignisse zu reagieren. Diese Modifikationen erlauben es den Edge-Knoten, lokal angepasste Modelle für Inferenzzwecke temporär weiterzuführen. Zur Validierung des vorgeschlagenen Ansatzes wird ein Algorithmus entworfen, implementiert und in einer simulierten Testumgebung zur Lösung einer Forecast-Aufgabe mittels mehrerer synthetischer und echter Datensätzen getestet. Dabei wird die Genauigkeit der Vorhersagen gemessen und mit den Vorhersagen des ursprünglichen Algorithmus verglichen. Diese numerischen Experimente liefern gemischte, aber Erfolg versprechende Ergebnisse.

Computational resources are moving closer to the edge of the network in response to the ever increasing number of connected devices and sensors in today’s technological landscape. Machine learning applications that rely on large amounts of data are no exception. In many practical applications, the data changes over time, which necessitates continuous updates to the used machine learning models in the form of online learning, requiring that edge nodes synchronize their models periodically for consistency. Additionally, the statistical heterogeneity that is common in the geographically distributed edge setting can cause large discrepancies between the accuracies of such globally optimized models at the global and local level, which can have devastating consequences in critical applications such as medical care. Model personalization approaches that adjust the model to local data are actively being researched to remedy this. This thesis introduces a novel model personalization scheme based on a popular federated learning algorithm that seeks to utilize the currently discarded byproducts of the synchronization process to improve local inference accuracy and allow for more timely adaptation to localized phenomenons. In the process, edge nodes can decide to temporarily decouple from the synchronized model for their inference tasks and instead use locally continued branches. To validate the proposed approach, an algorithm is designed, implemented and tested in a simulated environment on univariate forecasting tasks using several synthetic and real-world datasets and the accuracy measured against the baseline algorithm. The numerical experiments yield mixed, but promising results.