Title: A requirement-based systematic test-case generation method for safety-critical embedded systems
Other Titles: Methode zur systematischen Testfallgenerierung basierend auf Requirements für sicherheitskritische eingebettete Systeme
Nebent. : Methode zur systematischen Testfallgenerierung basierend auf Requirements für sicherheitskritische eingebettete Systeme
Language: English
Authors: Kandl, Susanne 
Qualification level: Doctoral
Advisor: Puschner, Peter
Assisting Advisor: Kirner, Raimund
Issue Date: 2010
Number of Pages: 157
Qualification level: Doctoral
Abstract: 
Sicherheitskritische Systeme müssen ausreichend getestet werden um sicher zu stellen, dass sie sich nicht fehlerhaft verhalten, da Fehler fatale Auswirkungen haben können. In relevanten Standards sind Bedingungen für den Testprozess definiert, zum Beispiel zu erfüllende Coverage-Kriterien (wie z.B. MC/DC) oder "Traceability", d.h., dass es möglich ist, die generierten Testfälle auf die in der Spezifikation definierten Requirements zurückzuführen. Es existiert eine Vielzahl an Methoden, Testfälle zu erzeugen, aber es ist immer noch eine Herausforderung, Testfälle so systematisch zu generieren, dass sie einerseits auf den Requirements basieren und andererseits mit der resultierenden Menge an Testfällen eine Abdeckung von 100% MC/DC am zu testenden System erreicht wird. Das Ziel dieser Doktorarbeit ist es, einen signifikanten Beitrag zu diesem Problem zu leisten.
In dieser Arbeit wird ein Testframework entwickelt mit einer Testfallgenerierungsmethode, die die Testfälle auf Basis der Requirements generiert. Die resultierenden Testfälle haben direkten Bezug zu den in der Spezifikation festgelegten Requirements. Mit den generierten Testfällen erreichen wir maximal mögliche MC/DC Abdeckung auf dem Quellcode des zu testenden Systems für eine sicherheitskritische Fallstudie aus dem Automobilbereich. Zusätzlich evaluieren wir die tatsächliche Fehlererkennungsrate für drei verschiedene Fehlerszenarien (Fehler in den Werten, in den Variablennamen und in den Operatoren).
Die Ergebnisse zeigen, dass die Fehlererkennungsrate für Werte durchaus ausreichend ist, wohingegen die Fehlererkennungsraten für Variablennamen bzw. Operatoren weit unter den erwarteten Werten liegen. Diese Ergebnisse sind ein wichtiger Beitrag zur Diskussion, inwieweit MC/DC eine geeignete Metrik für sicherheitskritische Systeme ist.

Safety-critical systems have to be tested exhaustively to ensure that there is no erroneous behavior, because failures may have serious impact. In relevant standards requirements for the testing process are defined, for instance, the required coverage metrics (like MC/DC) or "traceability", that means that the generated test cases have to map to the requirements originally defined in the system specification. There exist many test-case generation methods, but it is still a challenge to generate the test cases systematically (based on the requirements) and to guarantee that the resulting test set achieves full MC/DC on the system under test. The aim of this PhD thesis is to make a significant contribution to solve this problem.
In this PhD thesis a testing framework is developed that provides a test-case generation method that is able to generate the test cases based on the requirements. The resulting test cases are traceable back to the system requirements. With the generated test set we achieve maximum possible MC/DC on the code of the SUT for a safety-critical application from the automotive domain. Furthermore we evaluate the actual error detection rate of the test set by defining three different error scenarios (errors in the value domain, errors in the variable domain, and errors in the operator domain).
The results show that the error detection probability for the value domain is quite sufficient, whereas the error detection rates for the variable and operator domain are significantly less than expected. The results are important for the discussion about whether MC/DC is a suitable coverage metric for safety-critical systems.
Keywords: Sicherheitskritische Systeme; Eingebettete Systeme; Testen; Requirement-basierendes Testen; Coverage Metriken; MCDC; Fehlererkennungsrate
Safety-Critical Systems; Embedded Systems; Testing; Requirement-Based Testing; Coverage Metrics; MCDC; Error Detection Rate
URI: https://resolver.obvsg.at/urn:nbn:at:at-ubtuw:1-42096
http://hdl.handle.net/20.500.12708/10272
Library ID: AC07808740
Organisation: E182 - Institut für Technische Informatik 
Publication Type: Thesis
Hochschulschrift
Appears in Collections:Thesis

Files in this item:

Show full item record

Page view(s)

10
checked on Jun 13, 2021

Download(s)

93
checked on Jun 13, 2021

Google ScholarTM

Check


Items in reposiTUm are protected by copyright, with all rights reserved, unless otherwise indicated.