Enhancing Linux privilege escalation attack capabilities of local LLM agents

Abstract

Pentesting ist ein wesentlicher Ansatz im Bereich Cybersecurity, bei dem es darum geht, Schwachstellen und Sicherheitslücken in einem System zu finden, indem man Cyberangriffe simuliert. Ein Unterbereich von Pentesting ist Privilege-Escalation, dies ist die Vorgehensweise ein System so zu manipulieren, dass der Angreifer Aktionen ausführen kann, die er nicht darf und auch nicht dazu in der Lage sein sollte. Verschiedene wissenschaftliche Publikationen, die in den letzten zwei Jahren veröffentlicht wurden, haben gezeigt, dass Large Language Models (LLMs) Potential für autonome pentesting Systeme besitzen. Die Ergebnisse, welche diese Arbeiten präsentieren, zeigen zwar vielversprechende Erfolge mit cloud-basierenden Modellen, wie zum Beispiel GPT-4, aber sie demonstrieren auch die nicht vorhandene Leistung von open-source Modellen. Open-source Modelle sind in der Hinsicht interessant, dass man sie lokal hosten kann, was einige wesentliche Vorteile, wie Security, Unabhängigkeit und Verfügbarkeit, mit sich bringt. Um das Potential von open-source Modellen für autonome linux privilege-escalation Angriffe zu erforschen, schlagen wir einen Prototyp, basierend auf wintermute [HKC24], vor, welche dazu designt ist, lokale LLMs in diesem Kontext zu verbessern. Unser Prototyp besteht aus fünf Komponenten, welche einerseits die Argumentationsfähigkeiten und den Wissenstand des Modelles verbessern, andererseits auch mehr Struktur in die Herangehensweise bringen und das Model mit Reflexion ausstatten. Unsere Ergebnisse zeigen, dass open-source Modelle, abhängig von den Rahmenbedingungen, nicht nur die Performance von GPT-4o erreichen, sondern sogar übertreffen können. Llama3.1 70B schafft es mit Hilfe von Hinweisen 83% der getesteten Schwachstellen auszunutzen, während Llama3.1 8B und Qwen2.5 7B 67% erreichen. Des Weiteren, kann unser Prototype auch zu einer signifikanten Reduzierung in der Nutzung des Kontextbereiches führen. Die Resultate zeigen ebenso, dass open-source Modelle, im Vergleich zu GPT-4o, eine große Schwäche im Bereich Discovery besitzen.

Penetration testing is an essential approach in the field of cybersecurity, that allows testers to identify vulnerabilities and potential exploits through simulated cyberattacks. A subcategory of penetration testing is privilege escalation, which is the art of manipulating a system, to allow the user to execute actions that he is not allowed to. Recent research papers have demonstrated the potential of Large Language Models (LLMs) for autonomous penetration testing. While those papers indicate the potential of cloud-based models, like GPT-4, they also all highlight the lack of performance of open-source LLMs or do not include them in their evaluation. Open-source models can be hosted locally and offer a variety of advantages, like security, independence, or accessibility. To investigate the potential of open-source models for autonomous linux privilege escalation attacks, we propose a prototype, built on wintermute [HKC24], that is designed to enhance local LLMs. The prototype consists of five components, that improve reasoning capabilities, the knowledge base of the used model, the structure of the privilege escalation process, and in addition, augment the model with a reflective ability. Our results show, that depending on the size and the experiment setting, open-source models can match or even outperform GPT-4o. Llama3.1 70B is able to exploit 83% of the tested vulnerabilities, while Llama3.1 8B and Qwen2.5 7B achieve 67% when using guidance. Furthermore, our prototype allows for a significant reduction in context size usage. However, our experiments also highlight a severe lack in the ability of open-source models to discover vulnerabilities in an unguided environment.