Analyse und Evaluierung von Open-Source Testframeworks zur Herstellung plattformunabhängiger funktionaler Tests für native mobile Anwendungen (Single Sourcing)

Abstract

Software-Testing ist ein wesentlicher Bestandteil der Softwareentwicklung und Qualitaetssicherung, das mit einem entsprechendem Kosten- bzw Ressourcen-Aufwand verbunden ist. Heutzutage werden mobile native Anwendungen in der Regel von unterschiedlichen Entwicklungsteams erstellt. Dies liegt unter anderem an der Heterogenitaet der vorherrschenden mobilen Plattformen und fuehrt dazu, dass durch Redundanzen im Laufe der Testaktivitaeten weitere Kosten entstehen. Durch den Einsatz von plattformunabhaengigen Testing-Frameworks und Single-Sourcing der Testfall-Spezifikation koennen Mehrgleisigkeiten von funktionalen Tests reduziert werden. Um dies zu ermoeglichen, wird in der Regel auf einer hoeheren Teststufe, zumeist Akzeptanztests, angesetzt. Unklar ist jedoch, ob deratige Werkzeuge im Gegensatz zu ihren plattformspezifischen Alternativen andere Eigenschaften in Bezug auf grundlegende Funktionalitaeten und diverse Software-Charakteristiken, speziell die Lesbarkeit und die Wartbarkeit, aufweisen. Im Rahmen dieser Arbeit werden zwei qualifizierte Open-Source Frameworks, Calabash und Appium, naeher analysiert. In weiterer Folge wird eine prototypische Umsetzung von Testfaellen im Kontext einer Beispielanwendung implementiert und evaluiert. Dieselben Testfaelle werden zu Vergleichszwecken auch mit den offiziellen plattformspezifischen Test-Frameworks von Android und iOS umgesetzt. Die Resultate sprechen fuer den Einsatz plattformunabhaengiger Loesungen, da diese die gleichen Moeglichkeiten in Hinsicht auf die Element-Identifizierung, Interaktion sowie diverse Software-Charakteristiken wie plattformspezifische Alternativen bieten und gleichzeitig die Reduzierung von Redundanzen ermoeglichen.

Software testing is an important software-engineering discipline and a major quality assurance task, which requires sufficient resources. Nowadays mobile native applications are mostly developed in separate teams, because of the heterogeneity of the dominant platforms, which leads to redundancies in several test related activities. Platform independent testing tools and single-sourcing of test cases can be used to reduce unnecessary or duplicated workloads. These superfluities of functional tests can be reduced by the usage of platform independent testing frameworks. In general the exploitation of higher test levels, like acceptance tests, and a strong focus on the graphical user interface make these savings possible. Existing literature is not able to give advice whether these tools provide equal abilities in case of fundamental functionalities and common software characteristics, especially readability and maintainability of test cases. Thus two qualified open-source frameworks, Calabash and Appium, are analysed in detail. In further consequence a prototypic implementation of well selected test cases in the context of an example application is provided and the results are evaluated. For comparison purposes, the same set of test cases is also realised with platform specific frameworks. The results suggest the usage of platform independent solutions as they exhibit similar properties in case of element identification, element interaction and diverse software characteristics in comparison to their platform specific alternatives and reduce redundancies at the same time.