Navigating the Transition from Centralized to Federated Learning with Non-IID Data: A Human Activity Recognition Case Study

Abstract

The prevalence of IoT devices in everyday life provides unique opportunities to utilize the variety of continuously acquired data for personalized Machine Learning (ML) tasks. One such use case is human activity recognition (HAR), which can be employed in healthcare, occupational safety, smart homes, and beyond. In HAR, data privacy is paramount, and Federated Learning (FL) has proven itself an excellent strategy for training ML models in a distributed and private manner. FL can be leveraged to train HAR models without passing the client's data over the network while maintaining strict privacy standards. However, highly heterogeneous and non-Independent and Identically Distributed (non-IID) HAR data introduces severe challenges for FL methods. Variations in local label and feature distributions, as well as device heterogeneity in HAR datasets, lead to poor performance and instability in model training. While asynchronous FL addresses the system aspect of heterogeneity, it amplifies the negative effects of non-IID data on model training due to more frequent and fine-grained global model updates.Given that centralized learning (CL) is still a widespread ML practice, transitioning to FL can be non-trivial due to the challenges and complications caused by extremely non-IID HAR data. This transition is a frequent process in FL research and practice, and it is often time-consuming and contains many pitfalls. To address this issue, we propose a novel methodology for transitioning from CL to FL with non-IID data, providing a structured and formal approach that highlights potential challenges. To evaluate this methodology, we present a case study of transitioning from CL to FL on a realistic HAR dataset. We extend this case study and empirically examine the implications and effects of \textit{data augmentation, scaling, optimizer, learning rate, batch size and busy servers} on FL training and evaluation. Our main findings include: using a centralized test set for fairer evaluation comes at the cost of privacy; better performance of SGD-m over ADAM as the model optimizer; global scaling introduces privacy risks but enables better performance as it partially addresses feature skew; even after global scaling class-level feature skew persists and is more prominent for the minority class; busy servers can significantly impact model convergence even with extended train time. Finally, to implement the asynchronous FL component of the methodology and promote further advancements in this field we extended the popular Flower framework and published the solution as an open-source implementation of asynchronous FL.

Die zunehmende Verbreitung von IoT-Geräten im Alltag bietet einzigartige Möglichkeiten, die kontinuierlich erfassten Daten für personalisierte Machine-Learning-Aufgaben zu nutzen. Ein prominentes Anwendungsbeispiel ist die Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR), die in Bereichen wie dem Gesundheitswesen, der Arbeitssicherheit, in Smart Homes und darüber hinaus Anwendung findet. In diesem Kontext ist der Schutz der Datenprivatsphäre von größter Bedeutung, wobei sich Federated Learning (FL) als eine vielversprechende Methode zum dezentralen und datenschutzkonformen Training von ML-Modellen erwiesen hat. Durch den Einsatz von FL können HAR-Modelle trainiert werden, ohne dass die Daten der Endnutzer über das Netzwerk übertragen werden, wodurch strenge Datenschutzstandards gewährleistet werden. Allerdings stellen die ausgeprägte Heterogenität und die nicht-unabhängig und identisch verteilten (non-IID) Daten im HAR-Bereich erhebliche Herausforderungen für FL-Methoden dar. Die Variation lokaler Label- und Feature-Verteilungen sowie die Heterogenität der Geräte in HAR-Datensätzen führen zu einer Verschlechterung der Modellleistung und zu Instabilitäten im Trainingsprozess. Während asynchrones FL die Systemaspekte der Heterogenität adressiert, verstärken sich dadurch zugleich die negativen Auswirkungen der non-IID-Daten auf das Modelltraining durch häufigere und differenziertere globale Modellaktualisierungen.Da zentrales Lernen (Centralized Learning, CL) nach wie vor eine weit verbreitete Praxis im Bereich des maschinellen Lernens ist, gestaltet sich der Übergang zu Federated Learning (FL) aufgrund der Herausforderungen und Komplikationen, die durch extrem non-IID HAR-Daten entstehen, als nicht trivial. Dieser Übergang stellt einen häufigen Prozess in der FL-Forschung und -Praxis dar, der oft zeitaufwendig ist und zahlreiche Fallstricke birgt. Zur Bewältigung dieser Problematik schlagen wir eine neuartige Methodik vor, die den Übergang von CL zu FL bei non-IID-Daten erleichtert. Diese Methodik bietet einen strukturierten und formalen Ansatz, der potenzielle Herausforderungen explizit hervorhebt. Zur Evaluierung der vorgeschlagenen Methodik präsentieren wir eine Fallstudie, die den Übergang von CL zu FL anhand eines realistischen HAR-Datensatzes untersucht. Diese Fallstudie wird erweitert, um empirisch die Auswirkungen von Datenaugmentation, Skalierung, Optimiererwahl, Lernrate, Batch-Größe und Serverauslastung auf das FL-Training und die Evaluierung zu analysieren. Zu den zentralen Erkenntnissen gehören: Die Nutzung eines zentralen Testdatensatzes für eine gerechtere Evaluierung geht zulasten des Datenschutzes; der Stochastic Gradient Descent mit Momentum (SGD-m) zeigt im Vergleich zu ADAM eine bessere Leistung als Optimierer; globale Skalierung birgt Datenschutzrisiken, ermöglicht jedoch eine bessere Leistung, da sie teilweise das Feature-Skew korrigiert; trotz globaler Skalierung bleibt das Feature-Skew auf Klassenebene bestehen und ist insbesondere bei Minderheitsklassen ausgeprägter; ausgelastete Server können die Konvergenz des Modells auch bei verlängerten Trainingszeiten beeinflussen. Schließlich haben wir zur Implementierung der asynchronen FL-Komponente unserer Methodik und zur Förderung weiterer Fortschritte in diesem Bereich das populäre Flower-Framework erweitert und die Lösung als Open-Source-Implementierung des asynchronen FL veröffentlicht.