Web-based Evaluation of Modeling Language Notations

Abstract

This thesis addresses the challenge of evaluating and improving the semantic transparency of graphical notations of conceptual modelling languages. Traditional approaches to modelling language specifications must consider essential notational aspects to effectively reflect domain-specific requirements. We propose a graphical notation evaluation platform for empirical graphical notations evaluation to automate the setup, execution, and result analysis of evaluation experiments, thereby enhancing reproducibility and efficiency. By employing the Design Science Research methodology and agile development methods, we aim to evaluate the built artefacts. Our goal is to investigate how certain platform features enhance semantic transparency evaluation.The evaluation technique comprises initiation, term association, notation association, case study, and feedback tasks. Our system, leveraging advanced image recognition and text recognition techniques, not only advances proposals for new notations but also significantly improves evaluation efficiency. We strive to meet critical requirements such as efficient customization, notation improvement, and participant involvement while effectively addressing the limitations of traditional paper-and-pen setups.

Diese Arbeit befasst sich mit der Herausforderung, die semantische Transparenz von grafischen Notationen in konzeptionellen Modellierungssprachen zu evaluieren und zu verbessern. Traditionelle Ansätze zur Spezifikation von Modellierungssprachen müssen wesentliche Notationsaspekte berücksichtigen, um domänenspezifische Anforderungen effektiv widerzuspiegeln. Wir schlagen eine Plattform zur Evaluierung grafischer Notationen für die empirische Evaluierung grafischer Notationen vor, um den Aufbau, die Ausführung und die Ergebnisanalyse von Evaluierungsexperimenten zu automatisieren und dadurch die Reproduzierbarkeit und Effizienz zu verbessern. Durch den Einsatz der Design Science Forschungsmethodik und agiler Entwicklungsmethoden wollen wir die erstellten Artefakte evaluieren. Unser Ziel ist es, zu untersuchen, wie bestimmte Plattformfunktionen die Bewertung der semantischen Transparenz verbessern. Die Bewertungstechnik umfasst Aufgaben zur Einleitung, Begriffsassoziation, Notationsassoziation, Fallstudie und Feed-back. Unser System nutzt fortschrittliche Bild- und Texterkennungstechniken, um nicht nur Vorschläge für neue Notationen zu unterbreiten, sondern auch die Effizienz der Bewertung erheblich zu verbessern. Wir sind bestrebt, kritische Anforderungen wie effiziente Anpassung, Verbesserung der Notation und Einbeziehung der Teilnehmer zu erfüllen und gleichzeitig die Beschränkungen herkömmlicher Papier-und-Stift-Konfigurationen zu überwinden.