Software defect prediction models : optimizing test resource allocation based on prediction of defect risks

Abstract

Seitdem die Forschung der Software-Qualitätssicherung den Weg zu einer signifikanten Disziplin in der Software-Entwicklung gefunden hat, strengen sich die erfahrenen Software-Experten an, die neuen Methoden zu finden und Modelle zu entwickeln, die alle einem gemeinsamen Ziel dienen: Verbesserung der Softwarequalität. Man kann zweifellos lang argumentieren und die Bedeutung der verschiedenen Definitionen von Software-Qualität hervorheben, aber es ist klar dass die Voraussetzung für ein hochwertiges Produkt eine geringe Anzahl von Fehlern ist.<br />Es wurden viele Methoden entwickelt, die auf unterschiedliche Weise zu einer Reduktion von Defekten führen. Defektvorhersage hat aber in den letzten zehn Jahren eine sehr wichtige Rolle gewonnen. In dieser Arbeit analysieren wir die State-of-the-art der Forschung im Bereich der Defektvorhersage und diskutieren verschiedene Aspekte, die in der Literatur dargestellt werden. Wir entdecken, dass die traditionellen Defektvorhersagemodelle auf die einfachen binären Vorhersagen oder die Vorhersage der Fehleranzahl konzentriert sind. Es werden dabei die Auswirkungen von Fehlern vernachlässigt, vor allem ihre Schwergerade (Severities). Wir sehen diese Modelle als Vereinfachung der Realität.<br />Wir erkennen ferner an, dass diese eine mögliche Gefahr für den Nutzen der Prognosen darstellen, da sie Informationen über Fehlerhaftigkeit verbergen und möglicherweise eine falsche Grundlage für Entscheidungen setzen können. Aus diesen Gründen führen wir einen neuen Maßstab für die Vorhersage ein: Defektrisko. Defektrisiko kapselt die Informationen über Anzahl der Defekte und deren Schwergerade ein. Um unsere Annahme empirisch testen zu können, richten wir das hypothetische NASA Test Management-Szenario ein, wo wir Defekt Risikos vorhersagen und die Ergebnisse als Entscheidungsgrundlage für die Berechnung der Ressourcenallokation verwenden. Diese werden dann mit den Ergebnissen aus traditionellen Modellen verglichen. Die Ergebnisse zeigen, dass insgesamt die Ressourcenverteilung beim Verwenden der Vorhersage von Defektrisiken besser ist.<br />Die Zielgruppe dieser Arbeit sind Testmanager, Projektleiter und Qualitätssicherungsmanager bzw. Forscher mit einem Schwerpunkt auf Defektvorhersage und Qualitätssicherung.<br />

Ever since the software quality assurance cleared its path to become a significant discipline in the software development, experienced software professionals have been making an effort to research new possibilities, draw rules and build models which all serve one common goal: improvement of software quality. One can argue importance of different and well-accepted definitions of software quality and shift importance from one aspect to another, but one is a definite: a prerequisite for a high quality product is a low number of defects.<br />There are many techniques developed which in different ways lead to reduction of defects, but in particular defect prediction has gained a very significant role in the previous decade. By building complex models with numerous software measures and metrics, researchers are aiming to develop a baseline and draw conclusions which would set rules and increase accuracy of defect prediction. In this thesis we analyze the state of the art in the area of defect prediction, and discuss various aspects which are presented in the literature. We discover that vast majority of traditional defect prediction models concentrate on the simple binary predictions or the prediction of defect counts, but neglect the impact of defects, namely their severities. We see these models as simplification of reality since all defects are treated the same. We recognize further that this is possible threat to the benefits of the predictions since they may provide information about defectiveness which is not accurate. For these reasons we introduce a new prediction measure: defect risk. Defect risk encapsulates information on number of defects and their severities. The model handles the cases where number of defects does not necessarily imply the level of the quality of the system. We set up the hypothetical NASA Test Management Scenario where we predict defect severities in form of defect risks and calculate resource allocation coefficients for testing. The results show that altogether resource allocation was better if we used defect risks as basis for prediction. Target audiences are test managers, project and quality managers and researchers with high emphasis on defect prediction and quality assurance.<br />