Federated machine learning : an evaluation of backdoor attacks on image classification data ; Evaluierung von Backdoor-Attacken inneuronalen Netzwerken zur Bildklassifikation

Abstract

Verteiltes maschinelles Lernen, auch bekannt als kollaboratives Lernen, hat sich neuerdings als effektives Werkzeug für die Verarbeitung von Daten, die an unterschiedlichen Orten vorliegen oder produziert werden, empfohlen. Ein grundlegender Vorteil dieser Methodik ist, dass diese verteilten Daten nicht erst zentralisiert werden müssen, sondern direkt an der Quelle verarbeitet werden können. Dies ist mit zahlreichen Vorteilen verbunden. Unter anderem, dass durch die direkte Verarbeitung die Notwendigkeit eines leistungsstarken, zentralen Servers nicht gegeben ist, was mit Einsparungen von Ressourcen und damit Kosten verbunden ist. Weiters können die Daten bei den Teilnehmern verbleiben und müssen nicht durch potentiell unsichere Netzwerke an potentiell unsichere Server übertragen werden, was einen großen Vorteil hinsichtlich Datenschutz bietet. Doch durch die verteilte Funktionsweise dieser Technologie entstehen auch neue Angriffspunkte, die sich Aggressoren zu Nutze machen können. Angriffe auf maschinelles Lernen werden unter dem Begriff „feindliches maschinelles Lernen“ zusammengefasst, und können mithilfe des CIA-Dreiecks in Attacken auf die Schutzziele Vertraulichkeit, Integrität und Verfügbarkeit kategorisiert werden. Der Fokus dieser Arbeit liegt auf Attacken hinsichtlich der Integrität in der Trainingsphase des Modells, genauer gesagt so genannten „Backdoor Attacken“. Dabei wird ein wiederholendes Muster in die Trainingsdaten eingefügt. Das Ziel dabei ist, dass in der Test-Phase des Machine-Learning-Modells ein feindliches Verhalten hervorgerufen wird beispielsweise gezielte Missklassifikation der Daten. In dieser Arbeit untersuchen wir verteiltes maschinelles Lernen auf Unterschiede zu zentralisiertem maschinellem Lernen hinsichtlich Effektivität der resultierenden Modelle. Außerdem werden Machbarkeit und Effektivität von Backdoor Attacken geprüft. Dazu werden Case Studies auf State of the Art Datensätzen durchgeführt und unsere Ergebnisse auf bereits vorliegenden Resultaten der Literatur evaluiert. Wir zeigen, dass verteiltes maschinelles Lernen eine vergleichbare Performance zu zentralem maschinellem Lernen bietet, gleichzeitig aber sehr verwundbar gegenüber Backdoor Attacken ist.

Federated Machine Learning, sometimes also referred as collaborative learning, has recently awakened interest as a concept to process data distributed across many individual sources without the need to centralize it. The main idea behind this is that clients train models, based on their own data locally and only publish the parameters of the models. These parameters are aggregated into a global model which is subsequently shared across all participants.The usage of federated learning strategies enables privacy, especially relevant when processing sensitive data, as the data itself is never shared across the network. Furthermore, applications can benefit from the advantage of the distributed structure by utilizing the computational resources on the clients' endpoints.Adversarial Machine Learning describes a collection of techniques with a common goal of attacking artificial learning systems in respect to their confidentiality, integrity or availability. Recent research has shown that beside the above mentioned advantages, federated learning also enables new possibilities and entry points for adversaries due to its distributed nature. This thesis has its focus on backdoor attacks, a strategy interfering with the model's integrity during the training phase. By altering certain inputs with a reoccurring pattern during model training this attack tries to trigger malicious behaviour in the deployment phase. In this work, we focus on evaluating the performance of different federated learning architectures. Moreover, we study the impact of backdoor attacks on image datasets in the domains of traffic sign classification and facial recognition. Extending earlier work, we also include the setting of sequential (incremental cyclic) learning in our investigations and perform an in-depth analysis on several hyper-parameters of the adversaries. We show that federated learning performs on a similar niveau as centralized machine learning, but it is indeed vulnerable to backdoor attacks.