Reducing Token Usage of Software Engineering Agents

Abstract

Auf LLMs basierende Agenten werden zunehmend eingesetzt, um Aufgaben in der Softwareentwicklung, wie die Behebung von Bugs oder die Implementierung neuer Funktionen, zu automatisieren. Solche Systeme müssen Informationen aus großen Code-Repositorien verarbeiten, wodurch ihr Arbeitskontext schnell anwächst. Ein langer Kontext ist jedoch teuer und kann die Modellleistung beeinträchtigen, da LLMs Schwierigkeiten haben, irrelevante Informationen zu ignorieren. Diese Arbeit untersucht Strategien zur Reduktion der Kontextgröße und damit des Tokenverbrauchs in Agenten für die Softwareentwicklung, bei möglichst geringem Einfluss auf die Performanz. Eine Voranalyse zeigt, dass Code-Tokens den größten Anteil des gesamten Tokenverbrauchs im gewählten Setup ausmachen. Aus diesem Grund schlagen wir vor, eine Reihe von Code-Minifikationstransformationen anzuwenden, die nicht essenzielle lexikalische Elemente entfernen oder verkürzen, ohne die Programmsemantik zu verändern. Die vorgeschlagenen Transformationen werden in einen Agenten für die Softwareentwicklung integriert und systematisch auf der SWE-bench Verified Benchmark, unter Verwendung von GPT-4.1 und GPT-5-mini, evaluiert. Die Experimente zeigen, dass Minifikation den durchschnittlichen Eingabe-Tokenverbrauch um 42% reduziert, bei einem Leistungsverlust von lediglich 12%. Diese Ergebnisse verdeutlichen, dass einfache Code-Transformationen erhebliche Effizienzgewinne bei gleichzeitig hoher Leistungsfähigkeit ermöglichen und somit einen vielversprechenden Ansatz für kosteneffizientere Agenten darstellen.

LLM-based agents are increasingly employed to automate software engineering tasks such as bug fixing and feature implementation. These systems must reason over large code repositories, causing their working context to grow rapidly. Large contexts are costly to process and can degrade model performance, as LLMs struggle to disregard irrelevant information. This thesis investigates strategies to reduce context size and therefore token usage in SWE agents, while minimizing performance impact. Preliminary analysis reveals that source code tokens dominate overall token consumption in the chosen setup, motivating a focus on code-level transformations. We therefore propose to apply a series of code minification techniques that remove or shorten non-essential lexical elements while preserving program semantics. The proposed transformations are integrated into a state-in-context SWE agent and systematically evaluated on the SWE-bench Verified benchmark using GPT-4.1 and GPT-5-mini. Experiments show that minification reduces average input token usage by 42% with only a 12% drop in resolution rate. These findings demonstrate that lightweight source code transformations can yield substantial efficiency gains while maintaining strong performance, indicating a promising path towards more cost-effective agents.