Title: SQT: a tool for the automated measurement of respondent behaviour and response quality in online surveys
Language: English
Authors: Biegler, Stefan 
Qualification level: Diploma
Advisor: Grechenig, Thomas 
Issue Date: 2020
Number of Pages: 95
Qualification level: Diploma
Abstract: 
Datenqualität ist essentiell, um valide und zuverlässige Ergebnisse aus einer Onlineumfrage zu erhalten. Verwandte Arbeiten zeigen, dass Nutzerantworten, welche eine schlechte Qualität aufweisen, die Datenqualität sowie auch das Ergebnis einer Onlineumfrage negativ beeinflussen können. Dieser Umstand ist für wissenschaftliche wie auch für kommerzielle Zwecke sehr problematisch. Ein Grund für schlechte Datenqualität in Onlineumfragen ist negatives Nutzerverhalten. Dieses unerwünschte Verhalten wurde bereits in vergangenen Arbeiten definiert und gemessen. Aktuell herrscht ein Mangel an einfach zu handhabbaren Programmen, welche negatives Nutzerverhalten automatisch und valide messen können. Mit Hilfe solcher Programme könnte der Umfragen-Analyst, Nutzerantworten mit geringer Datenqualität adaptieren oder diese aus dem Ergebnis der Onlineumfrage entfernen. Diese Diplomarbeit beschreibt die Planung, technische Umsetzung und die empirische Evaluierung eines Survey Quality Tools (SQT), welches das negative Nutzerverhalten automatisch misst. SQT wurde in zwei Fallstudien empirisch evaluiert. Fallstudie eins hatte das Ziel SQT zu validieren. Fallstudie zwei hatte das Ziel, Feedback über die Usability, die praktische Anwendbarkeit und den Nutzen von SQT zu evaluieren. Die Ergebnisse zeigten, dass SQT ein valides Tool, für das automatische Messen des negativen Nutzerverhaltens ist und in der praktischen Anwendung sich als nützlich erwies. Der Beitrag dieser Diplomarbeit zur Forschung an Online Umfragen ist somit ein erwiesenermaßen valides Programm (SQT), welches automatisch das negative Nutzerverhalten basierend auf verschiedenen Careless Response Patterns misst. Zukünftige Arbeiten können dieses Tool verwenden. Für die weitere Forschung wäre es interessant zu vergleichen, ob Artificial Intelligence basierte Ansätze negatives Nutzerverhalten eventuel lnoch genauer detektieren können und ob neue Careless Response Patterns, welche noch nichtin verwandten Arbeiten aufscheinen, dadurch definiert werden können.

Data quality is essential for valid and reliable results in online surveys. It has been shown that low-quality response data can not only bias results but also makes spurious effects significant, which clearly is highly problematic for both scientific and marketing research. One reason for low-quality response data in online surveys is negative respondent behaviour. Several measures for this unwanted behaviour had been defined in previous work. Nonetheless, there is currently alack of validated and easy-to-use software tools that make it easy to detect unwanted behaviour and allow survey analysts to correct or exclude low-quality responses. This thesis describes the development, implementation and empirical evaluation of a survey quality tool (SQT), which automatically detects negative respondent behaviour. The tool was evaluated in two empirical studies. The first study sought to validate SQT. The second study had the goal to collect qualitative and quantitative feedback and lessons learned regarding the tool’s practical applicability, usability and usefulness. Results confirmed the validity of SQT. Results also confirmed the tool’s practical applicability and usefulness, i.e., it was found to be useful and easy-to-use. The contribution of this thesis hence is a validated, useful and practical survey quality tool (SQT), which automatically detects careless response patterns of negative respondent behaviour and warns survey analysts about low-quality responses. Future work can use this tool and investigate new methods for measuring negative respondent behaviour and compare those new measures with the established ones that are already implemented in the tool. Specifically, it would be interesting to use machine learning to classify respondent behaviour and to potentially identify new careless response patterns that are not yet covered in related work.
Keywords: Negatives Benutzerverhalten; Careless Response Patterns; schlechte Datenqualität; Online Umfragen
careless response; negative respondent behaviour; low-quality; online surveys
URI: https://doi.org/10.34726/hss.2020.83781
http://hdl.handle.net/20.500.12708/16169
DOI: 10.34726/hss.2020.83781
Library ID: AC16071825
Organisation: E194 - Institut für Information Systems Engineering 
Publication Type: Thesis
Hochschulschrift
Appears in Collections:Thesis

Files in this item:

Show full item record

Page view(s)

15
checked on May 28, 2021

Download(s)

48
checked on May 28, 2021

Google ScholarTM

Check


Items in reposiTUm are protected by copyright, with all rights reserved, unless otherwise indicated.