A requirement-based systematic test-case generation method for safety-critical embedded systems

Abstract

Sicherheitskritische Systeme müssen ausreichend getestet werden um sicher zu stellen, dass sie sich nicht fehlerhaft verhalten, da Fehler fatale Auswirkungen haben können. In relevanten Standards sind Bedingungen für den Testprozess definiert, zum Beispiel zu erfüllende Coverage-Kriterien (wie z.B. MC/DC) oder "Traceability", d.h., dass es möglich ist, die generierten Testfälle auf die in der Spezifikation definierten Requirements zurückzuführen. Es existiert eine Vielzahl an Methoden, Testfälle zu erzeugen, aber es ist immer noch eine Herausforderung, Testfälle so systematisch zu generieren, dass sie einerseits auf den Requirements basieren und andererseits mit der resultierenden Menge an Testfällen eine Abdeckung von 100% MC/DC am zu testenden System erreicht wird. Das Ziel dieser Doktorarbeit ist es, einen signifikanten Beitrag zu diesem Problem zu leisten.<br />In dieser Arbeit wird ein Testframework entwickelt mit einer Testfallgenerierungsmethode, die die Testfälle auf Basis der Requirements generiert. Die resultierenden Testfälle haben direkten Bezug zu den in der Spezifikation festgelegten Requirements. Mit den generierten Testfällen erreichen wir maximal mögliche MC/DC Abdeckung auf dem Quellcode des zu testenden Systems für eine sicherheitskritische Fallstudie aus dem Automobilbereich. Zusätzlich evaluieren wir die tatsächliche Fehlererkennungsrate für drei verschiedene Fehlerszenarien (Fehler in den Werten, in den Variablennamen und in den Operatoren).<br />Die Ergebnisse zeigen, dass die Fehlererkennungsrate für Werte durchaus ausreichend ist, wohingegen die Fehlererkennungsraten für Variablennamen bzw. Operatoren weit unter den erwarteten Werten liegen. Diese Ergebnisse sind ein wichtiger Beitrag zur Diskussion, inwieweit MC/DC eine geeignete Metrik für sicherheitskritische Systeme ist.<br />

Safety-critical systems have to be tested exhaustively to ensure that there is no erroneous behavior, because failures may have serious impact. In relevant standards requirements for the testing process are defined, for instance, the required coverage metrics (like MC/DC) or "traceability", that means that the generated test cases have to map to the requirements originally defined in the system specification. There exist many test-case generation methods, but it is still a challenge to generate the test cases systematically (based on the requirements) and to guarantee that the resulting test set achieves full MC/DC on the system under test. The aim of this PhD thesis is to make a significant contribution to solve this problem.<br />In this PhD thesis a testing framework is developed that provides a test-case generation method that is able to generate the test cases based on the requirements. The resulting test cases are traceable back to the system requirements. With the generated test set we achieve maximum possible MC/DC on the code of the SUT for a safety-critical application from the automotive domain. Furthermore we evaluate the actual error detection rate of the test set by defining three different error scenarios (errors in the value domain, errors in the variable domain, and errors in the operator domain).<br />The results show that the error detection probability for the value domain is quite sufficient, whereas the error detection rates for the variable and operator domain are significantly less than expected. The results are important for the discussion about whether MC/DC is a suitable coverage metric for safety-critical systems.