A systematic evaluation of federated learning algorithms in the context of industrial applications

Abstract

Machine Learning und Predictive Analytics sind ein wichtiger Teil der Entwicklungen in Industrie 4.0, inklusive ihrer Anwendung in diversen intelligenten Entscheidungsprozessen. Große Datenmengen, die oft dezentral von verschiedenen Produktionseinheiten an unterschiedlichen Standorten oder sogar von unterschiedlichen Organisationen gesammelt werden, sind eine essentielle Basis für erfolgreiche Lösungen im Bereich der künstlichen Intelligenz. Das Sammeln und Verarbeiten solcher Daten in klassischer zentraler Weise stellt neue Herausforderungen dar oder ist unter Umständen gar nicht oder nur schwer möglich. Dies erfordert neue Ansätze für die Verarbeitung der Daten und für das Trainieren von maschinellen Algorithmen. Hier kommt Federated Learning (FL) in Betracht. Bei FL Ansätzen werden globale Modelle erstellt, ohne dass die Daten zentral gesammelt werden müssen. Die Daten der einzelnen Produktionseinheiten oder Organisationen werden mit anderen Einheiten oder mit dem zentralen Server nicht geteilt.Sondern es werden nur die lokal trainierten Modelle an den zentralen Server übermittelt, wo der zentrale Server sie zur Erstellung eines einzigen globalen Modell verwendet. Dieses globale Modell wird dann an die einzelnen Einheiten übermittelt and von deren weiter eingesetzt. Die Forschung im Bereich des FL nimmt seit seiner Einführung im Jahr 2017 stetig zu.Dennoch gibt es nur wenige Belege für die Nützlichkeit von FL Methoden für Predictive Maintenance Probleme, die oft mit tabellarischen Daten und sehr ungleicher Verteilung der Daten representiert werden.In unserer Arbeit geben wir einige Einblicke in die Leistung von FL Modelle für vier verschiedene Datensätze und Datenverteilungsszenarien. Wir bewerten ausgewählte FL Techniken hinsichtlich ihrer Effektivität, der zusätzlichen Kosten, die durch die Übertragung individueller und globaler Modelle entstehen, und der Fähigkeit, eine vergleichbare Effektivität zwischen den teilnehmenden Einheiten zu erreichen, also Fairness der Modelle. Darüber hinaus zeigen wir, dass für einige ausgewählte Szenarien FL eine geeignete Alternative zu klassischen Trainingsansätzen ist.In bestimmten Fällen müssen FL Methoden jedoch noch weiter erforscht und entwickelt werden, um mit individuell trainierten Modellen mithalten zu können.

Machine learning and predictive analytics have become an important part of the intelligent decision-making process contributing to Industry 4.0 developments. The most important ingredient to successful artificial intelligence solutions is data, which are often produced in a decentralized manner by separate production units at different locations or even organizations. Collecting and processing such data in a classic centralized manner poses new challenges or may be intractable or even not possible. This requires novel approaches for processing the data and training machine learning algorithms. Here, Federated Learning may come in handy. Federated approaches train global models without the need to collect the data centrally. Individual data of each production unit or organization does not leave that entity; while trained local models are sent to the server, which aggregates them to produce a single global model. This single global model can then be used by individual entities. Currently, the research in the field of federated learning is growing since it was first introduced in 2017. Still, there is little evidence about the usefulness of federated approaches for predictive maintenance problems, represented by tabular and very imbalanced data. In our work, we provide some insights into the performance of federated models for different datasets and data distribution scenarios. We evaluate selected federated techniques in terms of their effectiveness, additional costs imposed by transferring individual and global models, and ability to achieve comparable effectiveness across participating entities, i.e. fairness. Moreover, we show that for some selected scenarios, federated learning is a suitable alternative to classic training approaches. Nevertheless, in certain cases, federated methods still require further research and development to be able to contend with models trained on an individual basis.