Diese Arbeit untersucht die Wirksamkeit der Erweiterung von auf Large Language Models (LLMs) basierenden Wartungs-Chatbots durch Retrieval-Augmented Generation (RAG), das sowohl Vector Similarity Search (VSS) zur semantischen Informationsabfrage als auch Knowledge Graphs (KGs) zur strukturierten Wissensrepräsentation einbindet. Ziel ist es, die Leistung eines reinen LLM-Baseline-Modells mit zwei erweiterten Varianten zu vergleichen: einem LLM, das mittels VSS um externe Wissensquellen ergänzt wird, und einem LLM, das zusätzlich durch KGs unterstützt wird, die kausale Beziehungen explizit modellieren. Die Forschung adressiert insbesondere die Frage, in welchem Ausmaß die Integration von VSS-basiertem RAG sowie kausaler KI über KGs die Effektivität und Qualität der Problemlösung für Instandhaltungstechniker steigern kann - ein Aspekt, der in bisherigen vergleichenden Studien weitgehend fehlte.Die Untersuchung folgt einer zweigleisigen Methodik: einem systematischen Literaturreview und einer strukturierten Simulationsstudie. Das Literaturreview wurde gemäß PRISMA-Richtlinien durchgeführt und bündelte bestehende Erkenntnisse zur Kombination von LLMs, RAG (mit Fokus auf VSS) und KGs im Wartungsumfeld. Sechzehn wissenschaftliche Arbeiten wurden in das qualitative Review aufgenommen, wodurch eine theoretische Grundlage geschaffen.Die anschließende Simulationsstudie implementierte ein vergleichendes experimentelles Design unter Einsatz eines Chatbots auf Basis von GPT-4o und dem LangChain-Framework. Getestet wurden drei Konfigurationen: ein reines LLM (Baseline), ein mittels RAG erweitertes LLM (unter Nutzung historischer Wartungsprotokolle und Betriebsanweisungen via VSS), sowie ein KG-erweitertes LLM (unter Nutzung eines Neo4J-KGs, in dem kausale Relationen zwischen Symptomen, Wahrnehmungen und Fehlern explizit hinterlegt sind). Ein Katalog aus 120 Fragen - verteilt auf vier realitätsnahe Wartungsszenarien - simulierte typische initiale Diagnoseanfragen von Technikern. Jede Frage wurde in allen drei Konfigurationen beantwortet, woraus insgesamt 360 Antworten resultierten. Zwei unabhängige technische Experten, die keine Kenntnis darüber hatten, welche Modellvariante ihnen jeweils vorlag, bewerteten die Antworten hinsichtlich Vollständigkeit, Korrektheit und Konsistenz auf einer 5-Punkte-Likert-Skala.Die erwarteten Ergebnisse leiten sich aus der vergleichenden Analyse der Antwortqualität ab. Es wird davon ausgegangen, dass KG-erweiterte LLMs sowohl die Baseline als auch das ausschließlich durch VSS-basiertes RAG erweiterte Modell insbesondere hinsichtlich diagnostischer Korrektheit und Konsistenz übertreffen. Der Vorteil ergibt sich daraus, dass KGs kausale Zusammenhänge explizit repräsentieren und inferieren können - ein entscheidender Faktor für komplexe Fehlerdiagnosen - während RAG über VSS primär semantisch ähnliche Informationspassagen abruft, jedoch keine systematische kausale Struktur bereitstellt.Die Integration von KGs dürfte folglich die Fähigkeit des Chatbots signifikant stärken, kausale Erklärungen abzuleiten und Empfehlungen für nicht unmittelbar offensichtliche Geräteausfälle zu formulieren. Damit bietet die Arbeit eine empirische Grundlage für den Einsatz hybrider symbolisch-neuronaler Architekturen (LLM + KG) als besonders effektive, vertrauenswürdige und kausal bewusste KI-Assistenten in der industriellen Instandhaltung.
de
This thesis examines the effectiveness of enhancing Large Language Model (LLM)-based maintenance chatbots through Retrieval-Augmented Generation (RAG), incorporating both Vector Similarity Search (VSS) for semantic information retrieval and Knowledge Graphs (KGs) for structured knowledge representation. The objective is to compare the performance of a pure LLM baseline with two augmented variants: an LLM enriched with external knowledge via RAG and VSS and an LLM additionally supported by KGs that explicitly model causal relationships. The research specifically addresses the extent to which integrating VSS-based RAG and causal AI through KGs can improve the effectiveness and quality of problem-solving for maintenance technicians - an area largely underexplored in prior comparative studies.The study employs a two-pronged methodology: a systematic literature review and a structured simulation study. The literature review, conducted in accordance with PRISMA guidelines, synthesizes existing knowledge on the intersection of LLMs, RAG (with a focus on VSS), KGs and causal reasoning in maintenance contexts. Sixteen scientific publications were included in the qualitative synthesis, establishing the theoretical foundation and contextualizing the experimental work.The subsequent simulation study implemented a rigorous comparative experimental design using a chatbot powered by GPT-4o and the LangChain framework. Three configurations were evaluated: a pure LLM (baseline), a RAG-enhanced LLM (leveraging historical maintenance records and operational guidelines retrieved via VSS) and a KG-enhanced LLM (using a Neo4J KG that explicitly encodes causal relations among symptoms, observations and faults). A catalogue of 120 questions, distributed across four realistic maintenance scenarios, was developed to simulate typical initial diagnostic queries posed by technicians. Each question was answered under all three configurations, producing a total of 360 responses. Two independent domain experts, blinded to the underlying model configuration, assessed the responses for Completeness, Correctness and Consistency using a 5-point Likert scale.The expected findings stem from the comparative analysis of these responses, particularly highlighting how structured knowledge and causal information influence diagnostic quality. It is anticipated that KG-enhanced LLMs will outperform both the baseline LLM and the RAG-enhanced LLM - especially in diagnostic Correctness and Consistency. This advantage is attributed to the KG’s ability to explicitly represent and reason over causal dependencies, a critical capability for fault diagnosis, whereas RAG through VSS primarily retrieves semantically similar information without providing a systematic causal structure.Integrating KGs is therefore expected to substantially strengthen the chatbot’s ability to produce causal explanations and recommend solutions for non-obvious equipment failures. The results will offer a practical, empirical basis for adopting hybrid symbolic-neural architectures (LLM + KG) as an optimal approach to building highly effective, trustworthy and causally aware AI assistants in industrial maintenance engineering.
en
Additional information:
Arbeit an der Bibliothek noch nicht eingelangt - Daten nicht geprüft
