LLM-assisted data structuring and analysis for improving aircraft maintenance

Abstract

Lufttüchtigkeitsanweisungen (Airworthiness Directives) sind ein wesentlicher Bestandteil der Flugsicherheit, werden jedoch in der Regel als komplexe, halbstrukturierte PDF-Dokumente veröffentlicht. Mit der zunehmenden Anzahl und Komplexität dieser Dokumente erweist sich eine manuelle Analyse zunehmend als unzureichend, um eine rechtzeitige und konsistente Einhaltung der Vorschriften sicherzustellen. Bestehende Ansätze scheitern häufig an der hohen Variabilität in Struktur, Terminologie und Inhalt der Anweisungen, was eine skalierbare Automatisierung erschwert. Diese Vielfalt unterstreicht die Notwendigkeit flexiblerer und kontextsensitiver Methoden, insbesondere von Large Language Models (LLMs), die in der Lage sind, regulatorische Texte mit höherer Präzision und Anpassungsfähigkeit zu interpretieren und zu strukturieren.Diese Arbeit befasst sich mit der Transformation unstrukturierter regulatorischer Daten in ein zuverlässiges, standardisiertes und maschinenlesbares Format. Unter Verwendung des Design-Science-Research-Ansatzes wurde eine LLM-basierte Extraktionspipeline entwickelt,die Prompt-Engineering-Techniken – wie Few-Shot Learning und Chain-of-Thought Reasoning – mit einem kontrollierten JSON-Schema kombiniert, um Konsistenz und Genauigkeit sicherzustellen. Die daraus entwickelte Lösung ermöglicht eine strukturierte und überprüfbare Extraktion von Anwendbarkeitsinformationen aus komplexen Lufttüchtigkeitsanweisungen und zeigt messbare Verbesserungen in Genauigkeit, Zuverlässigkeit und Verarbeitungseffizienz im Vergleich zu manuellen Methoden.Eine vergleichende Evaluation wurde in drei experimentellen Varianten durchgeführt: (1) einer manuellen Baseline-Analyse durch Menschen, (2) einem LLM ohne Guidance (Zero-Shot) und (3) einem LLM mit Guidance (Few-Shot, schema-basiert). Die manuelle Baseline diente als Referenz für die Genauigkeit nicht-expertengestützter Extraktion (57,7%) und für die Vollständigkeit der manuellen Verarbeitung. Das ungeleitete LLM erreichte eine Genauigkeit von 54,5%, was die Grenzen unstrukturierter Generierung regulatorischer Daten verdeutlicht. Im Gegensatz dazu zeigte das geführte LLM, unterstützt durch Schema-Kontrolle und Few-Shot-Prompting, eine deutliche Leistungssteigerung mit einer Genauigkeit von 93,84% und einer Reduktion der durchschnittlichen Verarbeitungszeit um über 90% gegenüber manuellen Methoden – bei einer Bearbeitungsdauer von etwa12,4 Sekunden pro Dokument.Diese Arbeit zeigt, dass ein gezieltes Schema-Design und durchdachtes Prompt Engineering die Zuverlässigkeit und Interpretierbarkeit von LLM-Ergebnissen in stark regulierten Domänen erheblich verbessern können. Durch die Umwandlung komplexer Lufttüchtigkeitsanweisungen in konsistente, maschinenlesbare Daten ermöglicht der Ansatz eine schnellere, transparentere und überprüfbare Verarbeitung regulatorischer Informationen.Die Ergebnisse bestätigen nicht nur die Machbarkeit einer LLM-gestützten Datenstrukturierung,sondern verdeutlichen auch ihr Potenzial, die Konsistenz von Compliance-Prozessen in der Luftfahrtwartung und darüber hinaus zu stärken.

Airworthiness Directives are foundational to aviation safety, yet they are typically published as complex, semi-structured PDFs. As the number and complexity of airworthiness documentation continue to increase, traditional manual analysis have become insufficient for ensuring timely and consistent compliance. Existing approaches often fail to handlethe high variability in structure, terminology, and content across directives, making scalable automation infeasible. This diversity highlights the need for more adaptable and context-aware methods, particularly Large Language Models (LLMs), capable of interpreting and structuring regulatory text with greater flexibility and precision.This thesis addresses the need to transform unstructured regulatory data into a reliable,standardised, and machine-interpretable format. Using a Design Science Researchframework, this work develops an LLM-based extraction pipeline that combines prompt engineering techniques such as Few-Shot learning and Chain-of-Thought reasoning with a controlled JSON schema to ensure consistency and accuracy. The resulting solution achieves structured, verifiable extraction of applicability information from complex Airworthiness Directives and demonstrates measurable improvements in accuracy, reliability,and processing efficiency compared to manual methods.A comparative evaluation was conducted across three experimental branches: (1) a baseline assessment by humans, (2) an LLM without guidance (zero-shot), and (3) an LLMwith guidance (few-shot, schema-driven). The human baseline established the reference for accuracy achieved by non-experts (57.7%) and completeness in manual extraction. The unguided LLM achieved an accuracy of 54.5%, highlighting the limitations of unstructured generation for regulatory data. In contrast, the guided LLM pipeline enhanced through schema control and few-shot prompting achieved a substantial improvement, reaching 93.84% accuracy while reducing the average processing time by over 90% compared to manual methods, completing each document in approximately 12.4 seconds.This work demonstrates that structured schema design and prompt engineering can significantly enhance the accuracy and reliability of LLM-generated outputs in highly regulated domains. By converting complex Airworthiness Directives into consistent,machine-interpretable data, the approach enables faster, more transparent, and verifiable handling of regulatory information. The findings not only validate the feasibility of LLMguideddata structuring but also highlight its potential to streng then the consistency ofcompliance-related processes within aviation maintenance and beyond.