Evasion resilience in variational bottleneck injected deep neural networks

Abstract

Tiefe neuronale Netzwerke (Deep Neural Networks, DNNs) sind in verschiedenen Anwendungen allgegenwärtig geworden, jedoch sind sie äußerst anfällig für adversarielle Angriffe, die ihre Ausgaben leicht manipulieren können. Diese Arbeit untersucht das Potenzial von variationalen Bottleneck-Techniken, insbesondere des Deep Variational Information Bottleneck (DVBI) und des Shallow Variational Bottleneck Injection (SVBI), um die Robustheit von DNNs gegenüber adversariellen Umgehungsangriffen zu erhöhen. Wir führen eine empirische Studie durch, in der Modelle, die mit SVBI, DVBI und traditionellen Architekturen ohne Bottlenecks trainiert wurden, verglichen und ihre Widerstandsfähigkeit gegenüber den neuesten Umgehungsangriffen, einschließlich der FGSM-, EAD-, C\&W- und JSMA-Angriffe, analysiert werden. Unsere Forschung bewertet den Einfluss der Platzierung des Bottlenecks auf die Robustheit gegen adversarielle Angriffe und untersucht die Beziehung zwischen Netzwerktiefe und Widerstandsfähigkeit. Die Ergebnisse heben die Wirksamkeit bestimmter variationaler Bottleneck-Strategien zur Verringerung der Anfälligkeit von Modellen gegenüber adversariellen Störungen hervor und bieten Einblicke, wie diese Techniken genutzt werden können, um sicherere KI-Systeme zu entwerfen.

Deep neural networks (DNNs) have become ubiquitous in various applications, yet they are highly vulnerable to adversarial attacks that can easily manipulate their output. This paper investigates the potential of variational bottleneck techniques and the role of network depth for adversarial robustness. We conduct an empirical study comparing models trained with Information Bottleneck-based objectives and traditional architectures without bottlenecks. We analyze their resilience against state-of-the-art evasion attacks, including the FGSM, EAD, C\&W, and JSMA attacks. Our research evaluates the impact of bottleneck placement on adversarial robustness and explores the relationship between network depth and resilience. Our results highlight the effectiveness of certain variational bottleneck strategies in reducing model vulnerability to adversarial perturbations, providing insights into how these techniques can be leveraged to design more secure AI systems.