Improving test automation best practices with test process lines : a case study on classified ads platforms

Abstract

In den letzten Jahren sind agile Entwicklungsmethoden immer beliebter geworden und viele Unternehmen haben auf SCRUM und KANBAN umgestellt. In diesem Zusammenhang wird auch die Testautomatisierung immer wichtiger, da Softwaretests immer früher im Entwicklungsprozess eingebunden werden. Zu diesen Softwaretests gehören auch \textit Als Use Case dient hier das Unternehmen Willhaben. Es wird mithilfe einer Umfrage und strukturierten Interviews festgestellt, inwieweit der Testprozess in den Unternehmen mit den Erwartungen der Mitarbeiter übereinstimmt. Die Methoden für die Testautomatisierung werden analysiert und bewertet um dann für die Best Practices gesammelt zu werden. Mit einer quantitativen Umfrage und 10 Interviewpartnern wurde ein guter Überblick über die verschiedenen Testprozesse in den verschiedenen Organisationen im Bereich der Onlinemarktplätze geschaffen. Hier kann man mit den Best Practices und SPICE zum Bewerten des vorhandenen Test Prozesses gut ansetzen. Es wurde außerdem klar, dass viele Unternehmen nur teilweise auf E2E Tests setzen, hier ist also noch Verbesserungspotential vorhanden. Dass eine Software Prozess Linie für einen allgemeinen Testprozess in einem Unternehmen sinnvoll ist, wird durch die verschiedenen Aussagen der Interviewpartner unterstrichen. Die Resultate dieser Arbeit unterstreichen die Wichtigkeit eines gut durchdachten Testprozesses, der dokumentiert und schriftlich festgehalten ist. Das Bewerten des Testprozesses durch SPICE erschafft sofort Verbesserungspotential, welches durch verschiedenste Maßnahmen umgesetzt werden kann. Best Practices sollten, sofern sie für das Unternehmen umsetzbar sind, eingesetzt werden. Die Auswirkungen auf Firmen mit anderen Beschäftigungsfeldern können anders sein als im betrachteten Anwendungsfall, aber dies wird nicht in dieser Arbeit bearbeitet.

In recent years, agile development methods have become increasingly popular and manycompanies have switched to SCRUM and KANBAN. In this context, test automationbecomes more important as software testing is getting involved earlier in the developmentprocess. These software tests also includeend-to-end (E2E)testing, which is also used todetect software defects earlier.The objectives of this thesis are to develop a catalogue of improvements for the testprocess as well as to generate best practices for test automation. In addition, a practicalexample will be used to illustrate how test automation is currently carried out in acorporation and how it can be improved.In this work, several test automation best practices will be presented and the testingprocess of online marketplaces will be explored and enhanced with SPICE and with theusage of a software process line. The use case here is the company Willhaben. With thesupport of a survey and structured interviews it will be analysed how the test processaligns according to the expectations of the employees. The test automation methods areanalysed and evaluated to be collected for best practices.With a quantitative survey and 10 interview partners, a good overview of the varioustest processes in the various organizations in the area of online marketplaces was created.The best practices and SPICE for evaluating the existing test process can be used here.It also became clear that many companies only partially rely on E2E tests, so thereis still room for improvement. The fact that a software process line makes sense for ageneral test process in a company is underlined by the various statements of the interviewpartners.The results of this work underline the importance of a well thought-out testing process,documented and written down. The evaluation of the test process by SPICE immediatelycreates potential for improvement, which can be implemented by various measures. Bestpractices should be used if they are feasible for the company. The effects on companieswith other fields of employment can be different than in the considered use case, but thisis not part of this work.