Designing and implementing a specific test process and framework for an evolving airport ground operation system within a highly agile environment

Abstract

Eine der großen Herausforderungen des Testmanagements eines Software-Entwicklungsprojektes stellt die Definition eines geeigneten, angepassten und integrierten Testprozesses dar. Im Rahmen der vorliegenden Arbeit wird anhand eines konkreten Fallbeispiels im Bereich der Flughafenverwaltung ein Testprozess für eine Airport Operational Database (AODB) entwickelt. Der entwickelte Testprozess basiert grundlegend auf den wichtigsten Teststandards der Industrie (IEEE 829, TMMi, ISTQB Glossar, ISO/IEC 29119) und des weiteren auf projektspezifischen Merkmalen und Anforderungen, wie z. B. hausinterne Entwicklung, geographisch verstreute Mitglieder und agilen Entwicklungsansätzen, wie z. B. Pair-Programming und Pair-Testing. Die Analyse der Prozesse ergab, dass, wie in vielen agilen Projekten, hoher Wert auf verbale Kommunikation gelegt wird, allerdings es häufig zu repetitiver Know-How Übermittlung kommt. Um dies zu reduzieren, wurde die Analyse von Anwendungsfällen für Entwickler und Tester zusammengefasst, um ein einheitliches Verständnis zu garantieren, und eine exakte Hierarchie für Information-Retrieval festgelegt. Im Weiteren wurde der Testprozess so konzipiert, dass er als Rückmeldung für alle Teilnehmer dient. Dazu wurde ein sogenannter Feedbackloop etabliert.<br />Ähnlich wie bei der Entwicklung das Pair-Programming zum Einsatz kommt, wird bei der Testdurchführung Pair-Testing eingesetzt. Damit stellt der Testprozess auch einen zentralen Knoten für die Kommunikation unter den Mitgliedern dar.<br />Um die Systemfunktonalität besser testen zu können, wurden verschiedene Test-Perspektiven definiert, wie z. B. Architektur, Gruppierungen von Anwendungsfällen, einzelne Anwendungsfälle und Benutzergruppen.<br />Innerhalb diesen Test-Perspektiven muss der/die Tester/in spezifizieren, welche Testmethode (Black-Box, Grey-Box und White-Box) und welche Teststufe (Akzeptanz, System, Integration, Unit) getestet werden soll.<br />Anhand dieser dreidimensionalen Matrix wird bestimmt, wie die Testfälle implementiert werden sollen.<br />Der Testprozess wurde mit Hilfe des Squash Test Management Tool umgesetzt. Squash TM wurde so konfiguriert, dass es die bisherigen Prozesse minimal beeinflusst und optimal unterstützt sowie die Arbeit der Tester erleichtert wird. Dementsprechend können Anwendungsfälle, Testfälle, Testpläne, Testkampagnen, Testiterationen und zum Teil auch Testdokumente verwaltet werden. Die Testdokumentation wurde laut dem IEEE 829 Standard konzipiert und bezüglich den zugehörigen Projektrollen in Squash oder dem Projektmanagement-Tool Redmine erstellt.<br />Abschließend wurde eine Bewertung des angepassten und optimierten Testprozesses, basierend auf dem TMMi Bewertungsstandard, durchgeführt und in einer Tabelle zusammenfassend dargestellt.<br />

A great challenge of test management within a software development project is the definition of an appropriate, customized and integrated test process. The thesis deals with this particular task within the scope of a case study in the field of airport ground operation systems by building an Airport Operational Database (AODB).<br />The designed test process builds on the major test standards in the field of testing (IEEE 829, TMMi, ISTQB Glossary, ISO/IEC 29119) and further on the identified project specific characteristics and requirements, as for instance in-house-development, geographically distributed team and agile principles as pair programming and pair testing. The observation of the processes detected that as in many agile projects there is a particular focus on verbal communication. However this results often in repetitive know-how transfer. In order to solve this issue the analysis of use cases has been merged for developers and testers for guaranteeing a unified level of knowledge. Moreover an exact hierarchy of information retrieval has been set up. Furthermore the process has been designed to act as a feedback loop to every member in the project. Similar to pair programming in software development, for testing tasks pair testing is applied. Thereby the test process functions as a central node in the information transfer of the team members.<br />In order to test the functionalities more accurately several test items has been identified as architecture, group of uses cases, single use case and user groups. Within these test items the tester is supposed to determine the test method (black box, grey box, white box) and the test level (acceptance, system, integration, unit). According to this three dimensional matrix it is specified how the test cases should be composed.<br />The process is implemented into the Squash Test Management tool. Squash TM has been configured in terms of influencing the current processes minimally and support it optimally, while easing the tasks of testers.<br />Accordingly requirements, test cases, test plans, test campaigns test iterations and partly test documents can be managed via the tool. Test documentation has been designed based on the IEEE 829 standard and has been implemented either in Squash or in the project management tool, Redmine depending on the targeted user group of the document.<br />Finally the optimized and tailored test process has been evaluated according to the TMMi assessment criteria and the results have been summarized in an overview table.