Developing a natural language interface for a UML editor

Abstract

Die weite Verbreitung der UML in der Softwareentwicklung zeigt ihre Bedeutung für die Planung und Dokumentation von Softwareprojekten. Die Interaktion mit UML-Editoren setzt jedoch meist die Verwendung von Maus und Tastatur voraus, was insbesondere für Menschen mit körperlichen Einschränkungen eine große Herausforderung darstellt. Diese Abhängigkeit schränkt die Zugänglichkeit zu derartigen Tools stark ein. Natural Language Processing bietet neue Möglichkeiten, Technologien barrierefreier und intuitiver nutzbar zu machen, indem es Computern erlaubt, menschliche Sprache zu verstehen und zu verarbeiten. Im Rahmen dieser Arbeit wird eine sprachbasierte Benutzungsschnittstelle für UML-Editoren entwickelt, die moderne NLP-Modelle nutzt, um die Modellierung per Sprachbefehl zu ermöglichen. Zunächst wird eine Taxonomie aller möglichen Operationen im Kontext von UML-Klassendiagrammen erstellt. Diese dient als Grundlage für die Definition konkreter Anfragen sowie für das Training von NL-Modellen, die in der Lage sind, Benutzerintentionen zu erkennen und relevante Informationen zu extrahieren, um entsprechende Aktionen im UML-Editor auszuführen. Zur praktischen Umsetzung wird der quelloffene UML-Editor bigUML im Rahmen dieser Arbeit erweitert, sodass UML-Klassendiagramme ausschließlich über Sprachbefehle erstellt werden können. Dies zeigt, wie sich die Barrierefreiheit in der UML-Modellierung sowohl für Menschen mit körperlichen Einschränkungen als auch für Nutzer, die eine effizientere Alternative zur herkömmlichen Bedienung suchen, verbessern lässt. Eine empirische Evaluation des sprachgesteuerten Editors zeigt vielversprechende Ergebnisse hinsichtlich der Intentionserkennung, der Effektivität bei der Modellerstellung und der allgemeinen Nutzbarkeit.

The widespread use of the UML in software engineering shows its significance in planning and documenting software projects. However, the need for mouse and keyboard interaction when working with UML editors shows a big challenge, especially for users with physical disabilities. This reliance on traditional input devices limits accessibility. Natural Language Processing is at the forefront of making technology more accessible and intuitive, by allowing computers to understand and interpret human language. This thesis presents a NLI for UML editors that leverages state-of-the-art NLP technologies to enable interaction with UML models using voice commands. First, this thesis will develop a taxonomy, defining all possible operations when working on a UML class diagram. This taxonomy is used to define concrete queries and train NL models, capable of understanding the intent and extracting relevant information to perform operations in an UML editor. To demonstrate the possibilities of such a NLI, the open-source UML modeling editor bigUML is extended to allow the creation of UML class diagrams using voice commands only. This highlights the improvements in accessibility for UML modeling, making it more efficient and user-friendly for a diverse audience, including those with physical disabilities and users seeking a more efficient alternative to traditional mouse and keyboard inputs. An empirical evaluation of the NLI-enabled modeling editor is conducted, showing promising results in intent recognition, the effectiveness of model creation, and usability.