Freerider attacks and detection methods in federated larning settings

Abstract

Federated Learning (FL) ist eine verteilte Machine Learning (ML) Methode, die sich auf Datenschutz fokussiert. In ihrer üblichen Ausführung berücksichtigt sie jedoch nicht, wie viel ein Client zum globalen Modell beiträgt. Da das trainierte globale Modell einen hohen monetären Wert haben kann, könnten Clients dazu verleitet sein, nicht selbst zu trainieren, sondern gefälschte Modellaktualisierungen zu senden. Folglich würden solche Clients das globale Modell erhalten, ohne großen Aufwand betreiben zu müssen. Schlussendlich führt das zu einer ungerechten Verteilung von Belohnungen (globales Modell). Ein Client, der sich so verhält nennt man free rider. Aufgrund der Gefahr von free rider Attacken werden free rider Detektionen benötigt. Dadurch, dass FL ein verteilter Ansatz ist, hat der Server jedoch nur limitierte Möglichkeiten und Informationen zur Verfügung um zu entscheiden, ob ein Client eine free rider Attacke ausführt. Die Unterscheidung zwischen free rider und normalen Clients ist dabei besonders schwer, wenn die Daten der Clients unterschiedlich verteilt sind.Da sich free rider Attacken und Detektionen hinsichtlich ihrer Charakteristiken sehr unterscheiden, führen wir eine Evaluierung durch, die diese Unterschiede adressiert. Nach unserem Kenntnisstand sind wir die ersten, die eine systematische Bewertung und einen Benchmark von Angriffen und Detektionsmethoden für verschiedene Rahmenbedingungen durchführen.Durch unsere Literaturrecherche haben wir festgestellt, dass bestehende Arbeiten unterschiedliche Rahmenbedingungen (z.B. unterschiedliche Datensätze, Anzahl der Clients) verwenden. Darüber hinaus gehen die Arbeiten von unterschiedlichen Annahmen aus, was zu Angriffen und Detektionen mit unterschiedlichen Charakteristiken führt.Es stellt sich heraus, dass einige Ansätze intuitiv und verständlich sind, während andere Annahmen treffen, die in realen Szenarien wahrscheinlich nicht gegeben sind. Daher kommen wir zu dem Schluss, dass die Ergebnisse der einzelnen Arbeiten nicht miteinander vergleichbar sind.Aufgrund dessen führen wir Experimente mit ausgewählten Attacken und Detektionen durch. Wir spezifizieren unsere Herangehensweise unter Zuhilfenahme von Konzepten die in CRISP-DM vorgestellt wurden.Wir haben festgestellt, dass die random weights Attacke zwar eine wichtige Ausgangsbasis ist, jedoch am schlechtesten abgeschnitten hat. Die anderen drei Attacken im Benchmark -- welche alle auf die Differenz zwischen globalen Modellen aufbauen -- zeigten keine signifikanten Unterschiede im Bezug auf deren Effektivität.Bezüglich den Detektionsmethoden stellte sich jedoch heraus, dass Delta-DAGMM, RFFL und FGFL nicht gut abschnitten. Ihre Schwächen liegen entweder in der Zeit, die benötigt wird um einen Detektor zu trainieren (Delta-DAGMM), oder in ihrer Ineffektivität unter fast allen Rahmenbedingungen (RFFL, FGFL).Es stellte sich heraus, dass die Detektionen Viceroy und WEF am besten abschnitten, wobei selbst sie nicht in allen Bedrohungsmodellen gute Ergebnisse lieferten. Wir simulierten auch paarweise Kombinationen von Detektionen. Dabei stellte sich heraus, dass für ein bestimmte Rahmenbedingung keine Kombination eine signifikant bessere Performanz liefert als die beste individuelle Detektionsmethode. Als wir jedoch die durchschnittlichen Performanz über alle Rahmenbedingungen hinweg berechneten, stellte sich heraus, dass die besten Ergebnisse durch Kombinationen von Viceroy mit anderen Detektionen erreicht werden. Insbesondere erkannte die Kombination von Viceroy und WEF die meisten free rider.Für zukünftige Detektionen empfehlen wir daher, dass auf die Ansätze, die in Viceroy und WEF verwendet werden aufgebaut und sie kombiniert bzw. auch verbessert werden.Im Allgemeinen haben wir festgestellt, dass die Wahl von guten Hyperparametern (wie z.B. Thresholds) schwierig ist. Oft führt das Ändern von Hyperparametern zu einem Kompromiss zwischen Precision und Recall.Abschließend stellen wir fest, dass eine Detektionsmethode, die leicht in bestehende Systeme integriert werden soll, Thresholds automatisch basierend auf den jeweiligen Rahmenbedingungen (z.B. ML-Modell, Anzahl der Clients) ermitteln sollte, oder erst gar nicht von solchen Rahmenbedingungen abhängen soll.

Federated Learning (FL) is a distributed Machine Learning (ML) technique focused on data privacy. In its raw form however, FL does not consider how much a client contributes to the global model. Since a trained global model can have a high monetary value, clients could be tempted not to train themselves, but to fake model updates. Therefore, they would obtain the final global model while having to invest only minimal effort. In the end, this leads to an unfair distribution of rewards (global model). A client who acts this way is called a free rider. Due to the danger of free rider attacks, detection methods are needed. Due to the distributed setting, the central server has limited capabilities and information to detect if a client performs a free rider attack. Concretely, distinguishing between a free rider and a benign client is particularly difficult if clients have different data distributions.Since free rider attacks and detections differ significantly in terms of their characteristics, we provide an evaluation addressing these differences. To the best of our knowledge, we are the first to provide a systematic evaluation and benchmarking of attacks and detection methods against diverse threat models.Through our literature review, we identified that existing works use diverse settings (e.g. different datasets, number of clients). Furthermore, the authors of these papers make different assumptions, leading to attacks and detections having different characteristics. We observed that some approaches are intuitive and comprehensible while others make assumptions that are unlikely to be met in real world scenarios. Thus, we conclude that the results of the related work are not comparable.Therefore, we conducted experiments using selected attacks and detections. We specified our experiment setup using ideas proposed in CRISP-DM.We found that the random weights attack is an important baseline but performed worst. The other three benchmarked attacks, all building upon using the difference between global models, showed no significant difference with respect to their effectivity.With respect to the detections however, we found that Delta-DAGMM, RFFL and FGFL did not perform well. Their weakness is either the required time to train a detector (Delta-DAGMM), or their ineffectivity in most settings (RFFL, FGFL).We found that the Viceroy and WEF detection performed best, while still not being able to perform good in all our tested settings.We also simulated pairwise combinations of detections and found that when only looking at a specific setting, no combination performed better than the best individual detection. However, when computing the average performance over all settings, we found that the best results are obtained when Viceroy is combined with another detection. Especially, the combination of Viceroy and WEF detected the most free riders.Therefore, for future detection approaches, we recommend to build upon, combine and refine the techniques used in these two approaches.In general, we observed that choosing good hyperparameters (such as thresholds) is difficult. Often, the hyperparameters lead to a tradeoff between precision and recall. Finally, we identify that a detection that wants to be easily integratable should automatically compute thresholds based on the respective setting (e.g. ML model, number of clients), or ideally should not depend on such settings at all.