Improving model reviewing and experimentation with tool support: a controlled experiment

Abstract

Um Fehler in Softwaresystemen zu finden werden Modelle verwendet. Diese Modelle sind eine vereinfachte Darstellung des realen Softwaresystems und können mit Hilfe von Modell-Reviews untersucht werden. Für den Entwurf und die Überprüfung verschiedener Modelle gibt es jedoch nur begrenzte Software-Unterstützung.Häufig werden einzelne Review-Typen, Software-Unterstützungen oder allgemeine Methoden innerhalb einer wissenschaftlichen Studie verglichen. Die Verwaltung von Reviews und Experimenten ist jedoch eine ressourcenintensive Aufgabe. Daher ist es unser Ziel die derzeit begrenzte Software-Unterstützung für Modell-Reviews und die Verwaltung von Reviews und Experimenten weiterzuentwickeln. Wir verwenden den Model Design and Review Editor (MDRE) und erweitern diesen mit zwei Prototyp-Komponenten. Die erste Komponente bietet Software-Unterstützung für die Meldung von Fehlern innerhalb von Modell-Reviews. Dadurch wird die Durchführung des Reviews verbessert und der Aufwand für die Datenerfassung reduziert. Zusätzlich implementiert die zweite Komponente eine Software-Unterstützung für die Verwaltung von Reviews und Experimenten. Das Hauptziel dieser zweiten Komponente ist die Bereitstellung von Aufgaben und die Überwachung des Fortschritts während des Experiments, um den Verwaltungsaufwand zu reduzieren.Zur Evaluierung unserer Ergebnisse führen wir ein kontrolliertes Experiment mit ca. 80 Teilnehmern durch, in dem wir die MDRE-Toolunterstützung mit dem traditionellen Ansatz vergleichen und die Ergebnisse analysieren. Im Rahmen dieses Experiments vergleichen wir den traditionellen Ansatz mit dem MDRE. Die Auswertung zeigt, dass die in den MDRE implementierten Erweiterungen in allen gemessenen Kategorien ähnliche Ergebnisse liefern wie der herkömmliche Ansatz, sowohl bei Modell-Reviews als auch bei der Verwaltung von Experimenten und Reviews. Der MDRE ist also in der Lage, Reviews durchzuführen, die mit dem traditionellen Review-Ansatz vergleichbar sind. Darüber hinaus reduziert die implementierte Software-Unterstützung den Aufwand und vereinfacht den Prozess.

Models are used to find defects in software systems. These models are a simplified view of the real software system and can be inspected using model reviews to identify defects within them. However, for the design and review of different models, there is only limited tool support available. It is often important to compare individual review types, tool support components, or general methods within a scientific study like an experiment. However, managing reviews and experiments is a laborious task. Therefore, in this work, we aim to advance the currently limited tool support for model reviews and the administration of reviews and experiments. We use the Model Design and Review Editor (MDRE) in its initial state and aim to extend it with two tool support prototypes. The first component provides tool support for reporting defects within model reviews. This improves the review execution and reduces the effort for data collection. Additionally, the second component implements tool support for administrating reviews and experiments. The main goal of this second component is the provision of tasks to the experiment participants and the monitoring of their progress during the experiment. For the evaluation of our results, we conduct a controlled experiment in which we compare the advanced MDRE tool support with the traditional pen-and-paper-based approach. The evaluation shows that the enhancements implemented into the MDRE provide similar results compared to the traditional pen-and-paper-based approach in all measured categories for both model reviews and the administration of experiments and reviews. Therefore, the improved state of the MDRE is capable of performing reviews similar to the traditional pen-and-paper inspection process. Furthermore, the implemented tool support for the administration of reviews and experiments reduces the effort and simplifies the process.