Creation, Manipulation, and Interaction with BPMN Models in Augmented Reality

Abstract

The combination of Augmented Reality (AR) and conceptual modeling can improve diagram comprehension, user engagement, and motivation to engage with the model. In future applications, AR models could aid workers during process execution by embedding process models directly in the real environment and displaying the next task to be performed. Furthermore, AR could support diagram creation by allowing users to model a process while performing it. This would be especially useful in environments where workers’ hands are dirty or switching to a traditional device is not feasible.Despite these promising opportunities, little research exists on Business Process Model and Notation (BPMN) model creation and manipulation via hand gestures in immersive environments such as Augmented Reality and Virtual Reality, and few works have investigated suitable interaction modes for this purpose.This thesis introduces the ’BPMN Builder’, a prototype that supports the creation and manipulation of BPMN models in AR via two interaction modes: direct and indirect interaction. In the direct mode, users select elements directly in the AR diagram via hand gestures, whereas in the indirect mode, an interaction panel serves as the means for diagram navigation and interaction.To evaluate the prototype, a user study with a within-subjects design was conducted,where every participant tested both interaction modes by performing diagram creation and manipulation tasks. The interaction modes were compared in terms of efficiency,usability, and user preference. Overall, the direct mode performed better, achieving shorter task completion times, a higher System Usability Scale (SUS) score, and higher user preference.These results suggest that direct interaction is the more suitable mode for BPMN modelingin AR. The findings on gesture-based interaction are expected to be generalizable to other conceptual modeling languages.

Die Kombination aus Augmented Reality (AR) und konzeptueller Modellierung kann das Verständnis von Diagrammen, die Einbindung der Nutzenden und deren Motivation, sichmit dem Modell auseinanderzusetzen, verbessern. In zukünftigen Anwendungen könntenAR-Modelle Mitarbeitende bei der Prozessausführung unterstützen, indem Prozessmodelle direkt in die reale Umgebung eingebettet und die als Nächstes auszuführenden Aufgaben angezeigt werden. Des Weiteren könnte AR die Erstellung von Diagrammen unterstützen,indem es Usern ermöglicht, einen Prozess während seiner Ausführung zu modellieren.Dies wäre insbesondere in Umgebungen nützlich, in denen die Hände der Mitarbeitenden verschmutzt sind, oder der Wechsel zu einem herkömmlichen Gerät nicht möglich ist.Trotz dieser vielversprechenden Möglichkeiten gibt es bislang kaum Forschungsarbeiten zur Erstellung und Bearbeitung von Business Process Model and Notation (BPMN)Modellen mittels Handgesten in immersiven Umgebungen wie Augmented Reality (AR)und Virtual Reality (VR), und es wurden bisher nur wenige geeigneten Interaktionsmodi für diesen Zweck untersucht.Diese Arbeit stellt den „BPMN Builder“ vor, einen Prototyp, der die Erstellung und Bearbeitung von BPMN Modellen in AR über zwei Interaktionsmodi unterstützt: direkte und indirekte Interaktion. Im direkten Modus wählen User Elemente direkt im AR-Diagramm mittels Handgesten aus, während im indirekten Modus ein Interaktionspanel als Mittel zur Diagrammnavigation und -interaktion dient.Zur Bewertung des Prototyps wurde eine Benutzerstudie mit einem Within-Subjects-Design durchgeführt, bei der alle Teilnehmenden mittels Aufgaben zur Erstellung und Bearbeitung von Diagrammen beide Interaktionsmodi testeten. Die Interaktionsmodi wurden hinsichtlich Effizienz, Benutzerfreundlichkeit und Nutzerpräferenz verglichen.Insgesamt schnitt der direkte Modus besser ab und erzielte kürzere Bearbeitungszeiten,einen höheren System Usability Scale (SUS) Wert sowie eine höhere Nutzerpräferenz.Diese Ergebnisse deuten darauf hin, dass die direkte Interaktion der geeignetere Modus für die BPMN-Modellierung in AR ist. Es ist zu erwarten, dass diese Erkenntnisse der gestenbasierten Interaktion auf andere konzeptuelle Modellierungssprachen übertragbar sind