AI-powered rule generation for automated fault detection and diagnostics

Abstract

This thesis investigates the potential of Artificial Intelligence (AI)-powered methods toautomate rule generation within rule-based fault detection systems, a critical component of Building Automation and Control Systems (BACS). By integrating techniques in the field of Large Language Models (LLMs), the study seeks to transform natural language descriptions into structured, machine-readable rules that drive fault detection processes. The research employs the Design Science Research (DSR) methodology, systematically progressing through the relevance, rigor, and design cycle to address the core research challenges. These challenges include ensuring the syntactic and semantic accuracy of generated rules. Key components of the system architecture include semantic chunking, embedding generation, and the use of vector databases to facilitate efficient information retrieval. A quantitative evaluation demonstrates that the system achieves high syntactic accuracy, generating well-formed JSON rules in 32 out of 33 cases. However, the qualitative evaluation reveals limitations in semantic accuracy. Additionally, this thesis explores potential improvements through refined human input, showing that detailed user feedback can significantly increase the system’s performance. Despite theproblems revealed in the qualitative evaluation, the work lays a foundation for the future development of a practical AI-enhanced rule generation system.

Diese Arbeit untersucht das Potenzial von Künstliche Intelligenz (KI)-gestützten Methoden die Regelgenerierung in regelbasierten Fehlererkennungssystemen zu automatisieren, welche ein wichtiger Teil von Building Automation and Control Systems (BACS) sind. Durch die Integration von Techniken aus dem Bereich der Large Language Models(LLMs) versucht die Arbeit, Beschreibungen in natürlicher Sprache in strukturierte, maschinenlesbare Regeln umzuwandeln, die den Fehlererkennungsprozess steuern. Die Arbeit nutzt die Design Science Research (DSR)-Methodologie in Form eines Relevancezyklus, Rigorzyklus und Designzyklus, um die zentralen Forschungsfragen zu adressieren. Zu diesen Herausforderungen gehört die Gewährleistung der syntaktischen und semantischen Genauigkeit der generierten Regeln. Zu den Schlüsselkomponenten der Systemarchitektur gehören Semantic-Chunking, die Generierung von Embeddings und die Nutzung von Vektordatenbanken, um effizientes Informationsretrieval zu ermöglichen. Eine quantitative Evaluierung zeigt, dass das System eine hohe syntaktische Genauigkeit erreicht und in 32 von 33 Fällen korrekte JSON-Regeln generiert. Die qualitative Evaluierung zeigt jedoch Einschränkungen bei der semantischen Genauigkeit. Zusätzlich, analysiert diese Arbeit mögliche Verbesserungen durch verfeinerte menschliche Eingaben und zeigt, dass detailliertes Nutzerfeedback die Leistung des Systems steigern kann. Trotz der Probleme, die in der qualitativen Evaluierung aufgedeckt wurden, legt die Arbeit eine Grundlage für die zukünftige Entwicklung eines praktischen KI-gestütztes Regelgenerierungssystems.