Automatisiertes White-Box Testen für regelbasierte Modelltransformationen

Abstract

Seit mehreren Jahren ist die Modellgetriebene Softwareentwicklung (Englisch: Model Driven Software Development (MDSD)) auf dem Vormarsch und Softwaremodelle werden nicht mehr nur für Entwurfszwecke genutzt, sondern sind ein Hauptelement im Software Engineering Prozess geworden. Modellierungssprachen werden genutzt um Modelle darzustellen, die eine Basis für die weitere Entwicklung bilden. Neben den Modellierungssprachen spielen in der modellgetriebenen Softwareentwicklung auch Modelltransformationen eine entscheidende Rolle. Das Ziel einer Modelltransformation ist ein bestimmtes Quellmodell in ein gewünschtes Zielmodell zu transformieren. Oftmals schlagen Modelltransformationen fehl und die Fehlersuche ist mühsam und langwierig, da diese in der Transformation selbst oder in den Metamodellen liegen können. Eine weitere Herausforderung ist es eine hohe Testabdeckung zu erreichen. Ziel dieser Arbeit ist das Auffinden eines automatisierten Ablaufs, der regelbasierte Transformationen testen kann. Dabei soll ein Tool in Java implementiert werden, welches auf der Metamodellierungssprache Ecore und regelbasierten Modelltransformationen in der Atlas Transformation Language (ATL) aufbaut. Es wird ein automatisierter White-Box Testing Ansatz entwickelt. Außerdem sollen mit Hilfe einer automatischen Generierung von Testinstanzen eine hohe Testabdeckung sichergestellt und verschiedene Fehler, vor allem Laufzeitfehler in der Transformation aufgezeigt werden. Neben den nötigen Grundlagen, wie zum Beispiel Answer Set Programming (ASP) und Testen im Allgemeinen, wird auf die konkrete Implementierung eines möglichen Ansatzes, das sogenannte White-Box Testing (WBT) Tool, eingegangen. Basierend auf den Modelltransformationen der Übungsaufgaben aus der Lehrveranstaltung "Model Engineering" der Technischen Universität Wien der Jahre 2009 bis 2012 wird eine Evaluierung des entwickelten Tools durchgeführt. Die Methode der Evaluierung ist eine Fallstudie mit einem objektiven Testdatenset. Es werden rund 160 unabhängige Transformationen getestet. Die Ergebnisse der Fallstudie zeigen, dass das entwickelte WBT-Tool viele verschiedene Fehler, sowohl bei der Validierung der Modelle, als auch in der Transformation selbst aufzeigt. Das Tool birgt den Vorteil auch komplexere Testdatensets automatisch testen zu können, da bis auf die Anfangseinstellungen keine weitere Interaktion notwendig ist.

For several years, Model Driven Software Development (MDSD) is on its rise and software models are not only used for design purposes but became a major element in the software engineering process. Modeling languages are available to describe models which are the basis for further development. In addition to the modeling languages, model transformations are an important ingredient of model driven software development. Basically, the goal of a model transformation is to transform a given source model to a desired target model. Often the model transformation fails and the troubleshooting is lengthy and timeconsuming because the mistakes can be in the transformation itself or in the metamodels. Another problem is to obtain a good test coverage. The aim of this work is to find an automated process which can test rule-based transformations. A tool is to be developed in Java, which is based on the meta language Ecore and model transformations in Atlas Transformation Language (ATL). One of the goals of the thesis is to find an automated white-box testing approach for model transformations in ATL. By the automatic generation of test instances a high test coverage should be ensured. In addition, various errors and especially runtime errors in the transformation should be detected. Beside the necessary basics such as Answer Set Programming (ASP) and testing in general the concrete implementation of the approach, the White-Box Testing (WBT) Tool, is described. Based on a collection of model transformations of the course "Model Engineering" of the Technical University of Vienna from the years 2009 until 2012 an evaluation is carried out and discussed. The method of evaluation is a case study with an objective test data set as the transformations are not created by ourselves. This set is significant with about 160 transformations. The results of the case study show that the developed WBT-Tool finds different errors. For example, failures during the validation of the models are detected and the tool finds runtime errors in the model transformation. An essential advantage is that there is no interaction except the initial setting and therefore more complex test data can be tested automatically.