Entwicklung einer Software Fehler Klassifikationsstruktur anhand einer qualitativen Analyse

Abstract

Die vorliegende Arbeit beschäftigt sich mit der Erstellung einer Software Fehlerklassi-fikation auf Grund einer empirischen, qualitativen Studie. Dieser Fehlerkatalog soll Software Tester Teams am Point of Observation (PoO.) einer Webseite dabei unterstützen, Fehler so effizient und effektiv wie möglich zu dokumen-tieren. Die Klassifizierung wird wie folgt in drei Bereiche unterteilt: Fehlerbeschreibung textuell, Tracking der Fehler per Screenshot und Aufnahme der Fehler per Video.<br />Die Methodik des Black Box Testens über ein Interface steht dabei im Vordergrund. In dieser Arbeit werden primär Usability Fehler und Functionality Fehler berücksichtigt. Diese Arten von Fehlern werden gruppiert und zu Oberbegriffen zusammengefasst. Diese Oberbegriffe werden vordefinierten Kategorien zugewiesen und dienen somit als Grundlage für die Inhaltsgestaltung des Fehlerkatalogs. Der Verfasser der Arbeit hat für diese Studie ein Webseiten Tool entwickelt, das auf die Anforderungen einer qualitati-ven Erhebung zugeschnitten wurde. Es bot 30 ausgewählten Experten der Softwaresi-cherung die Möglichkeit, jeweils 5 Fehler in die 3 vordefinierten Kategorien einzutra-gen. Durch diese qualitative Online-Expertenbefragung wurden konkrete Abläufe sowie Vorgänge, Aktionen und Reaktionen des Benutzers bzw. des Systems festgehalten. Die Probanden konnten durch diese Art der Erhebung ihre Erfahrungen uneingeschränkt wiedergeben, da keine fixen Antwortmöglichkeiten vom Autor vorgegeben wurden. Dabei wurde die Hälfte der zuvor aufgestellten Hypothesen durch die Resultate dieser Arbeit verifiziert. Zusammenfassend kann festgehalten werden, dass die Analyse des Datenmaterials die vom Autor ursprünglich angenommene Verteilung bestätigt. 60% aller Fehler wurden der Gruppe "Layout" und "dynamisches Verhalten" zugewiesen. "Layoutfehler" fallen in die Kategorie Usability.<br />"Dynamisches Verhalten" hingegen beinhaltet meist Fehler aus dem Bereich Functionality. Der daraus resultierende Fehlerkatalog baut auf den vorliegenden Resultaten auf und dient als Schablone für Testerteams.<br />

The main objective of this project is to create a software error classification matrix by using an empirical qualitative study.<br />This software error catalogue is aimed at supporting software tester teams in detecting errors on the point of observation and classifying them into three different categories: textual description, bug tracking with the help of a screenshot, and recording the errors per video.<br />The method using black box tests (tracking bugs on the user interface) comes to the fore. This thesis will focus primarily upon usability errors in addition to functionality errors; such errors were grouped and abstracted to generic terms within predefined categories and served to create the concrete content of the software error catalogue. A special online tool was programmed in respect of the requirements of the qualitative study. 30 selected experts in the field of software security were asked to classify 5 errors into the 3 specified categories. During the interview valuable information was collected in regard to the actions and reactions of the test persons, as well as the system itself.<br />The responses were very detailed due to the open character of the questions; possible an-swers were not given. The data reflects the personal experience made by the experts in the past. The results of this study confirm the proposed hypothesis by fifty percent.<br />In summary the data evaluation as well as the subsequent data analysis reflects the sur-vey of the fundamental hypothesis in regard of usability errors and functionality errors. In conclusion, two main groups can be determined: "layout" and "dynamic behaviour". Errors, which are in connection with the "layout" of a website, are mostly assigned to the set of usability. The second field, "dynamic response" and behaviour are linked to functionality errors. In consequence of the collected data an error classification cata-logue was designed, which can serve and assist as a model matrix for software tester teams.