Can Coding Agents Build an IDS Testbed? A Benchmark Design and Empirical Evaluation

Abstract

Die Forschung an Intrusion-Detection-Systemen (IDS) benötigt kontrollierte Testumgebungen, sogenannte Testbeds. Sie simulieren unsichere Systeme, um Datensätze mit Angriffsspuren zu erzeugen. Das Erstellen und Anpassen solcher Testbeds ist allerdings aufwendig. Coding-Agenten versprechen, einen Teil dieser Arbeit zu übernehmen. Im allgemeinen Programmier-Benchmark SWE-bench Verified lösen sie bereits mehr als 75% der Aufgaben. Ob diese Fähigkeiten auf IDS-Testbeds übertragbar sind, lässt sich nicht mit bestehenden Benchmarks prüfen. Existierende IaC-Benchmarks erwarten sichere Konfigurationen, während Testbeds genau das Gegenteil benötigen. Existierende Penetration Testing Benchmarks evaluieren das interaktive Erforschen und Ausnutzen von Schwachstellen, während Testbeds reproduzierbare Angriffsskripte benötigen.Deshalb entwickeln wir einen eigenen Benchmark, abgeleitet aus einem realen Testbed. Er deckt die Hauptaufgaben bei der Anpassung von IDS-Testbeds ab: das Konfigurieren unsicherer Infrastruktur und das Erstellen von Angriffsskripten. Mit diesem Benchmark testen wir zwei Coding-Agenten in 190 Durchläufen. Claude Code (Opus 4.6) erzeugte in 43% der Durchläufe eine korrekte Lösung, Mistral Vibe CLI (Devstral 2) in 14%. Das Konfigurieren von Services fiel beiden Agenten leichter als das Erstellen von Angriffsskripten. Fehler passierten meist punktuell und nicht aufgrund einer grundsätzlich falschen Herangehensweise. Coding-Agenten sind somit zwar nützliche Assistenten für die Entwicklung von IDS-Testbeds, erfordern jedoch weiterhin menschliche Kontrolle.

Intrusion detection system (IDS) research depends on controlled environments, so-called testbeds. These simulate vulnerable systems to produce labeled datasets containing traces of attacks. Such testbeds are resource-intensive to build and adapt. Coding agents could take on some of this work. They already resolve more than 75% of tasks on the general-purpose SWE-bench Verified benchmark. However, no existing benchmark can test whether this transfers to IDS testbed work. IaC benchmarks penalize insecure configurations, while testbeds need them. Offensive security benchmarks focus on interactive exploration and exploitation, while testbeds need deterministic, reproducible attack scripts.We therefore reverse-engineer an expert-validated 19-task benchmark from a real-world testbed. It covers the main IDS testbed adaptation tasks: configuring vulnerable infrastructure and scripting reproducible attacks. We test two coding agents over 190 runs. Claude Code (Opus 4.6) generated a correct solution in 43% of runs, and Mistral Vibe CLI (Devstral 2) in 14%. Both agents did better at configuring services than at scripting attacks. Most failures are caused by localized mistakes rather than a fundamentally wrong approach. Coding agents are therefore useful assistants for IDS testbed development, but still require human oversight.