Large language model based chatbots in industrial maintenance applications

Abstract

In response to the increased focus on machine downtime in industrial plants, intensified by rising energy costs and unpredictable supply chains, maintenance has emerged as an important field of action for numerous industries. Consequently, companies are increasingly focusing on optimizing maintenance processes by leveraging novel technologies and concepts such as artificial intelligence (AI), Big Data, and the Internet of Things (IoT) within the realm of Industry 4.0. Among AI technologies, transformer-based large language models (LLMs) have received remarkable attention in recent years. Their exceptional performance in natural language processing (NLP) tasks surpasses state-of-the-art systems, leading to the widespread adoption of AI tools, virtual agents, and chatbots in diverse sectors. However, industrial maintenance solutions utilizing such LLMs are missing. This master thesis bridges this gap by investigating the potential of LLM-based chatbots in industrial maintenance, aiming to enhance and support maintenance operations.This work conducts an extensive literature analysis to identify pre-trained LLMs best suited for fine-tuning and subsequent integration into chatbot frameworks, highlighting popular models and downstream tasks. Subsequently, this work introduces an LLM fine-tuned for maintenance, using the BERT-based TaPas model, tailored for table question-answering tasks. Despite working with a limited dataset, the responses’ exact match score for the fine-tuned solution increases substantially, reaching up to 70% compared to non-fine-tuned models. Addressing the challenge of limited dataset size, state-of-the-art NLP data augmentation methods, such as word-based paraphrasing and character-based noising techniques, are employed. Specific challenges unique to industrial maintenance are identified, and a domain-specific augmentation approach is proposed. This approach preserves semantic meaning and textual context while enhancing overall data diversity.Finally, this work demonstrates how to leverage fine-tuned LLMs in industrial maintenance. The fine-tuned TaPas model is integrated into a chatbot framework, serving as a question-answering system supporting industrial maintenance processes. A PSSUQ usability study yields an overall score of 1.77, indicating a positive user experience, particularly for untrained users. This outcome positions the LLM-based industrial maintenance chatbot as a promising tool for enhancing operational efficiency across various industries in the industrial maintenance sector. Additionally, future works could extend the chatbot’s scope to tasks such as maintenance planning, laying the foundation for practical integration into maintenance management systems.

Als Reaktion auf den steigenden Fokus auf Maschinenausfallzeiten in industriellen Anlagen, verstärkt durch steigende Energiekosten und unvorhersehbare Lieferketten, hat sich Instandhaltung als ein wichtiges Handlungsfeld für zahlreiche Branchen entwickelt. Folglich fokussieren sich Unternehmen zunehmend auf die Optimierung von Instandhaltungsprozessen durch die Anwendung innovativer Technologien und Konzepte wie Künstliche Intelligenz (KI), Big Data und das Internet of Things (IoT) im Rahmen von Industrie 4.0. Unter den KI-Technologien haben transformerbasierte Large Language Models (LLMs) in den letzten Jahren große Aufmerksamkeit erhalten. Ihr exzellentes Sprachverarbeitungsvermögen in verschiedenen textbasierten Aufgaben übertrifft das von State-of-the-Art Systemen, was zu ihrer weit verbreiteten Nutzung als KI-Tools, virtuelle Agenten und Chatbots in verschiedenen Bereichen geführt hat. Allerdings fehlen industrielle Instandhaltungsanwendungen, die solche LLMs einsetzen. Diese Arbeit schließt somit diese Lücke, indem sie das Potenzial von LLM-basierten Chatbots in der industriellen Instandhaltung untersucht, mit dem Ziel, Instandhaltungsarbeiten zu verbessern und zu unterstützen. Zunächst führt diese Arbeit eine umfassende Literaturanalyse durch, um vortrainierte LLMs zu identifizieren, die am besten für Feintuning und anschließende Integration in ein Chatbot-Framework geeignet sind. Anschließend stellt diese Arbeit ein auf die Instandhaltung feingetuntes LLM, unter Nutzung des BERT-basierten TaPas-Modells, für tabellenbasierte Frage-Antwort-Aufgaben vor. Trotz des begrenzten Datensatzes führt der Feintuningprozess zu einer erheblichen Steigerung des Exact Match Werts um bis zu 70% im Vergleich zu nicht feingetunten Modellen. Um das Problem der begrenzten Datenmenge für das Training zu adressieren, werden Datenaugmentationsmethoden wie wortbasierte Paraphrasierung und zeichenbasierte Rauschverfahren eingesetzt. Spezifische Herausforderungen der Instandhaltung werden identifiziert und ein domänenspezifischer Augmentationsansatz wird vorgeschlagen. Dieser bewahrt die Semantik und den textuellen Kontext, während er gleichzeitig die Gesamtdatenvielfalt erhöht. Abschließend zeigt die Arbeit wie feingetunte LLMs in der Instandhaltung genutzt werden können. Das feingetunte TaPas-Modell wird in ein Chatbot-Framework integriert und dient als Frage-Antwort-System für Instandhaltungsprozesse. Der Chatbot erzielt in einer PSSUQ-Nutzerfreundlichkeitsstudie eine Gesamtnote von 1,77, was auf ein positive Nutzererlebnis von ungeschulten Anwendern deutet. Dieses Ergebnis macht den LLM-basierten Instandhaltungschatbot zu einem vielversprechenden Tool im industriellen Instandhaltungssektor mit der die betriebliche Effizienz in verschiedenen Branchen verbessert werden kann. Darüber hinaus könnten künftige Arbeiten den Anwendungsbereich des Chatbots auf Aufgaben wie die Wartungsplanung ausweiten und so die Grundlage für eine effektive Integration in Instandhaltungsmanagementsysteme schaffen.