AI-driven efficiency : large language models in business process optimization

Abstract

Die Effizienz und Anpassungsfähigkeit eines Unternehmens an wandelnde Marktanforderungen und technologischen Fortschritt werden maßgeblich durch dessen Geschäftsprozesse bestimmt. Die iterative Analyse und Verbesserung dieser Prozesse, die Geschäftsprozessoptimierung (GPO), welche zum Ziel hat, Ineffizienzen zu eliminieren, stützt sich hierbei traditionell auf menschliches Fachwissen. Angesichts der zunehmenden Komplexität dieser Prozesse und des wachsenden Fachkräftemangels sehen sich Unternehmen jedoch vermehrt mit einer Ressourcenlücke konfrontiert, welche durch gegenwärtig verfügbare Hilfsmittel nicht geschlossen werden kann. Eine potentielle Lösung dieses Problems wird nun von neuartigen Machine Learning Modellen, den sogenannten Large Language Models (LLMs), geboten. Diese sind in der Lage, kontextrelevante Informationen zu generieren und somit menschliche Entscheidungsprozesse nachzuahmen. Da das Potenzial von LLMs zur Automatisierung der GPO jedoch noch weitgehend unerforscht ist, zielt diese Arbeit darauf ab, diese Forschungslücke zu schließen. Dabei werden wir von folgender Forschungsfrage geleitet: Inwieweit stimmen aktuelle state-of-the-art Large Language Models mit etablierten Standards überein, wenn sie Aufgaben der Geschäftsprozessoptimierung durchführen? Die Beantwortung dieser Frage erfolgt durch eine gezielte Fokussierung auf den Einfluss von Kontext, Prozesskomplexität und der Qualität des Ausgangsprozesses in fünf iterativen Zyklen. Hierbei wird das neuartige Action Research-Based Compliance Testing (ARCT)-Framework eingesetzt, das Action Research, strukturierte Experimente, Compliance Testing und Error Injection kombiniert, um die Fähigkeiten von LLMs in Domänen systematisch zu evaluieren, in denen Evaluationen inhärent komplex sind. Unsere Ergebnisse zeigen, dass aktuelle state-of-the-art LLMs bestimmte Aspekte der GPO automatisieren können, jedoch weiterhin menschliche Expertise bei Prozessen mit Abhängigkeiten und komplexen Abläufen erforderlich ist. Der starke Einfluss von Kontext auf die Leistung sowie Herausforderungen wie Overfitting machen ein umsichtiges Vorgehen notwendig. Des weiteren konnten wir feststellen, dass sich die Modellleistung ab einer bestimmten Verschlechterung der Ausgangsprozessqualität einpendelt, sodass weitere Verschlechterungen nicht zu proportional schlechteren Ergebnissen führen. Eine vollständige Automatisierung dürfte daher von Weiterentwicklungen der LLMs, tieferer Systemintegration oder einem präzise gestalteten Prompt-Design abhängen.

The efficiency and adaptability of an organization are significantly influenced by its business processes, which directly determine its ability to align with evolving market demands and technological advancements. Business Process Management (BPM) has traditionally relied on human expertise, particularly in the context of Business Process Optimization (BPO), which involves the analysis and redesign of processes with the objective of eliminating inefficiencies. As processes become increasingly complex and the shortage of skilled workers persists, organizations are confronted with a widening resource gap that current tools are unable to resolve, as they are incapable of automating optimization. A promising solution to this issue is offered by novel machine learning models, the so-called Large Language Models (LLMs), which are capable of mimicking human decision-making processes by generating contextually relevant insights. Nevertheless, their capacity to automate BPO remains largely under-explored, representing a notable research gap. This work is therefore guided by the question: To what extent do current state-of-the-art Large Language Models align with established standards when performing business process optimization tasks? The study answers this question by placing enforced focus on the impact of context, task complexities, and the quality of the initial process through five iterative cycles. To achieve this, we leverage the novel Action Research-Based Compliance Testing (ARCT) framework, which combines action research, structured experiments, compliance testing, and error injection to systematically evaluate the capabilities of LLMs in domains where evaluation is inherently complex. Our results indicate that, while current state-of-the-art LLMs are capable of automating certain aspects of BPO, they still require human supervision for complex workflows involving task interdependencies and intricate process flows. The strong influence of context on model performance, along with the associated challenges of overfitting, demand careful management. However, we also observed that a negative plateau occurs in relation to initial process quality, as beyond a certain threshold of degradation, further reductions in quality do not proportionally worsen model performance, enabling real-world usage even with suboptimal original processes. This suggests that full automation will depend on further model advancements, deeper integration into organizational systems, or a more carefully crafted approach and prompt design.