Yilmaz, C. Ö. (2022). Merging the gap between automated and human centered usability testing [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2022.88240
E194 - Institut für Information Systems Engineering
-
Date (published):
2022
-
Number of Pages:
136
-
Keywords:
Usability; Usability Testing; Automation
en
Abstract:
Heutzutage ist Usability Testing ein wesentlicher Aspekt des Softwareentwicklungsprozesses. Konventionelle Usability Tests sind jedoch sehr zeit- und ressourcen intensiv, da eine reale Person den Benutzer beobachten und versuchen muss, anhand ihrer Beobachtungen Usability Probleme zu entdecken. Als Lösung für dieses Problem stellen wir ein Framework für semi-automatisierte Usability Tests vor, bei dem der Benutzer die Anwendung ohne Beobachter testet und anschließend seine Interaktionen erfasst, gespeichert und dann analysiert werden, um potenzielle Usability Probleme aufzudecken. Unser vorgeschlagenes Framework kombiniert vier allgemeine semi-automatisierte Usability Testansätze zu einem: Metrik-basiert, Mustervergleich, Aufgaben-basiert und Inferential.Um unser vorgeschlagenes Framework zu evaluieren, haben wir ein semi-automatisierte Usability Tool (SAUTO) entwickelt und während der Entwicklung einer Webanwendung,dem DYLEN-Tool, manuelle und semi-automate Usability Tests durchgeführt. Wir haben das Framework evaluiert, indem wir die Ergebnisse manueller Usability Tests mit semi-automatisierte Usability-Tests verglichen und auch qualitative Interviews mit den Entwicklern von DYLEN und einem externen Usability Experten geführt haben. Die Ergebnisse zeigen, dass semi-automatisierte Usability Tests manuelle Usability Tests zwar nicht ersetzen können, es aber sehr sinnvoll sein kann, beides zusammen durchzuführen.Darüber hinaus ermöglicht semi-automatisierte Usability Testen das Testen einer Softwaremit einer großen Anzahl von Benutzern, was mit manuellen Usability Tests nicht möglichist. Schließlich ermöglicht es die Durchführung von Usability-Tests nach dem Launcheiner Software.
de
In today’s world, usability testing is an essential aspect of the software developmentprocess. Conventional usability testing however is very time and resource consuming,because there needs to be a real person observing the user and trying to discover usabilityproblems from their observations. As a solution to this problem, we present a framework for semi-automated usability testing, in which the user tests the application without an observer, and then their interactions are captured, saved and then analysed to discoverpotential usability problems. Our proposed framework combines four general semi-automated usability test approaches into one, these are: metric based, pattern matching,task based and inferential. To evaluate our proposed framework we developed a semi-automated usability tool (SAUTO) and conducted manual and semi-automated usabilitytests during the development of a web application, the DYLEN tool. We evaluated the framework by comparing the results of manual usability tests to semi-automated usabilitytests and also by conducting qualitative interviews with the developers of DYLEN and an external usability expert. The results indicate that while semi-automated usabilitytesting cannot replace manual usability testing, it can be very useful to carry out both together. Additionally, semi-automated usability testing allows to test a software with a high amount of users which is not possible with manual usability testing. Finally it allows carrying out usability tests after the launch of a software.