Accessibility in model engineering : large model comprehension and auditory conversational agents

Abstract

Konzeptionelle Modelle und Diagramme sind wesentliche Bestandteile des Model Engineerings und dienen der Darstellung, Analyse und Kommunikation komplexer Systeme. Aufgrund ihrer Größe und visuellen Komplexität sind sie jedoch oft schwer zugänglich, insbesondere für Nicht-Expert:innen sowie für Personen mit visuellen Einschränkungen. Ziel dieser Arbeit ist es, zu untersuchen, in wie weit Large Language Models (LLMs) zur Verbesserung der Zugänglichkeit und des Verständnisses von Modellen beitragen können.Auf Basis einer systematischen Literaturrecherche werden bestehende Ansätze zur Modellzusammenfassung, Modellverständnisunterstützung und zu konversationellen Agenten analysiert und deren Stärken sowie Limitationen identifiziert. Aufbauend darauf wird ein konzeptioneller Ansatz entwickelt und ein Prototyp in die GLSP-basierte bigUML-Umgebung integriert. Dieser ermöglicht die Generierung konfigurierbarer, rollenabhängiger textueller Erklärungen von UML-Modellen auf Basis strukturierter Modelltransformationen und gezielter Prompt-Engineering-Techniken.Die Evaluation erfolgt zweistufig. Zunächst wird der Prototyp hinsichtlich seiner technischen Umsetzung und seines Beitrags zur Modellverständnisunterstützung bewertet. Anschließend wird in einer unabhängigen Untersuchung analysiert, wie unterschiedliche Repräsentationsformate und Kontextlängen das Verständnis von Modellen durch LLMs beeinflussen. Die Ergebnisse zeigen sowohl das Potenzial als auch die aktuellen Grenzen von LLMs im Kontext des Modellverständnisses auf und liefern wertvolle Erkenntnisse für die Weiterentwicklung barrierefreier, KI-gestützter Werkzeuge im Model Engineering.

Conceptual models and diagrams are fundamental in model engineering, supporting the representation, analysis, and communication of complex systems. However, their size and visual complexity pose significant challenges for non-expert users and for individuals with accessibility needs such as visual impairments. This thesis investigates how large language models (LLMs) can contribute to improving model accessibility and comprehension by enabling automated summarization and conversational interaction with models. Based on a systematic literature review, the work analyzes existing approaches to model comprehension, summarization, and conversational agents, identifying their strengths as well as current limitations with respect to accessibility and reliability. Building on these insights, a conceptual framework and a focused prototype are developed and integrated into the GLSP-based bigUML environment, enabling configurable, role-aware explanations of UML models. The prototype transforms models into structured textual representations and leverages prompt engineering techniques to guide LLM-based explanations. A two-part evaluation is conducted: first, the prototype is assessed with regard to its practical usefulness and integration, and second, a broader study examines how representation formats and context lengths influence LLM comprehension of models. The results provide empirical insights into the capabilities and limitations of LLMs in understanding conceptual models and demonstrate their potential to support accessible, AI assisted model engineering tools.