Federated semi-supervised anomaly detection for network security : extending DeepSAD to real-world TCP metadata in a privacy-preserving setup

Abstract

Diese Arbeit untersucht semi-überwachtes Anomalie-Erkennen für die Netzwerksicherheit auf Basis realer TCP-Metadaten. Aufbauend auf DeepSAD übertragen wir den Ansatz von der Anomalieerkennung auf Bilddaten in den Bereich von Computernetzwerken und transformieren die Aufgabe auf die Identifikation von TCP-Verbindungsfenstern fester Größe, die potenziell bösartige Aktivität enthalten. Zunächst etablieren wir eine zentrale Baseline, die zeigt, dass sich schädliche Aktivitäten zuverlässig und ohne umfangreiche manuelle Labeling-Aufwände erkennen lassen. Anschließend überführen wir den Ansatz in eine Federated-Learning-Variante, die Rohdaten bei den Clients belässt und lediglich Modellaktualisierungen zentral koordiniert. Zwar erreicht der Federated-Learning-Ansatz noch nicht die Genauigkeit der zentralen Variante und erfordert mehr Trainingsaufwand, doch zeigt er, dass eine datenschutzwahrende Erkennung in der Praxis machbar ist. Abschließend analysieren wir, wie sich Datenverteilung und Aggregationsentscheidungen auf Stabilität und Leistung auswirken, und stellen fest, dass sich Client-Heterogenität nutzen lässt, statt sie lediglich zu tolerieren. Insgesamt weist die Arbeit einen End-to-End- Weg für die Anomalieerkennung, der sich im zentralisierten Setting als effektiv erweist und unter Federated-Learning-Rahmenbedingungen vielversprechend ist — und der klare nächste Schritte zur Stärkung des Datenschutzes, zur Optimierung des föderierten Trainings und zur skalierbaren Einführung aufzeigt.

This thesis examines semi-supervised anomaly detection for network security using real- world TCP metadata. Building on DeepSAD, we transform the approach from anomaly detection on image data to the network domain and frame the task as identifying fixed-size windows of TCP connections that contain potential malicious activity. Initially, we establish a centralized baseline that demonstrates the method can reliably detect malicious activity without extensive manual labeling. Afterward, we converted it into a federated learning variant that keeps raw data on clients while coordinating model updates centrally. Although the federated approach does not yet match centralized accuracy and requires more training effort, it demonstrates that privacy-preserving detection is feasible in practice. In the end, we examine how data distribution and aggregation choices affect stability and performance, and we find that client heterogeneity can be leveraged rather than merely tolerated. Overall, the work provides an end-to-end direction for anomaly detection that is both effective in a centralized setting and promising under federated constraints, highlighting clear next steps to enhance privacy, optimize federated training, and achieve scalable deployment.