Automated synthesis of behavior-driven integration tests for embedded systems

Abstract

Embedded-Anwendungen werden heutzutage von einfacher Konsumelektronik bis hin zu höchst sicherheitskritischen Steuerungseinheiten eingesetzt. Während Modultests relativ ähnlich zu klassischer Softwareentwicklung realisiert werden können, verkompliziert die zusätzliche Hardwarekomponente das Integrationstesten um ein Vielfaches. Neben sehr teuren und in sich geschlossenen Testsystemen gibt es kaum Alternativen und innovative Ansätze, um diese Art von Tests umzusetzen. Die vorliegende Arbeit befasst sich mit der Realisierung einer Kombination von Integrationstests für Embedded-Anwendungen auf elektronischen Steuereinheiten und dem Testansatz der verhaltensgetriebenen Softwareentwicklung. Dabei sollen die Möglichkeiten der Synthese und die Anwendbarkeit in der Praxis aufgezeigt werden. Im Zuge dessen umfasst die Arbeit die Entwicklung einer API in der Programmiersprache Python, um Funktionen zum Testen von Applikationen auf Steuerungseinheiten bereitzustellen. Die API wird in Kombination mit einem bestehenden Testframework zur Erstellung von verhaltensgetriebenen Testfällen innerhalb eines prototypischen Aufbaus getestet. Um die Aussagekraft in Richtung Praxisanwendung zu erhöhen, wird die Umsetzung an einem bestehenden und in der Praxis laufenden Projekt getestet, welches durch die Kooperation mit einem Partnerunternehmen zur Verfügung steht. Sowohl die Status-quo Analyse, als auch die Feedback Präsentation und die abschließend zur Evaluierung durchgeführten Experteninterviews auf Basis eines semi-strukturierten Leitfadens zeigen die erfolgreiche Umsetzung des Konzepts und bestätigen die prinzipielle Anwendbarkeit in der Praxis. Die Evaluierung zeigt einerseits Faktoren auf, welche einen klaren Vorteil zu klassischen Testansätzen darstellen, als auch derzeitige Limitierungen und potentielle Herausforderungen.

Nowadays embedded applications are integrated into simple consumer electronics to highly safety-critical control units. Whereas module tests may be implemented similarly compared to classical software development, the additional hardware component complicates the integration testing process dramatically. In addition to expensive and closed test systems, there are hardly any alternatives and innovative approaches to realize these types of tests. The underlying work deals with the realization of a combination of integration tests for embedded applications on electronic control units and the test approach of behavior driven development. Thereby, the possibilities of the synthesis and the applicability should be demonstrated. In the course of this, the work comprises the development of an API using the programming language Python to provide functions for testing applications on electronic units. The API is tested in combination with an existing test framework for creating behavior driven tests within a prototypical setup. In order to increase the significance of the evaluation results with regards to practical applicability, the realization is tested using an existing and running application project, which is provided by the cooperation partner. Both the status-quo analysis, the feedback presentation and the conducted expert interviews on the basis of a semi-structured guide indicate the successful implementation of the concept and confirm the applicability in practice. On the one hand, the evaluation reveals factors which state a clear advantage compared to classical test approaches and on the other hand, identifies current limitations and potential challenges.