SQT: a tool for the automated measurement of respondent behaviour and response quality in online surveys

Abstract

Data quality is essential for valid and reliable results in online surveys. It has been shown that low-quality response data can not only bias results but also makes spurious effects significant, which clearly is highly problematic for both scientific and marketing research. One reason for low-quality response data in online surveys is negative respondent behaviour. Several measures for this unwanted behaviour had been defined in previous work. Nonetheless, there is currently alack of validated and easy-to-use software tools that make it easy to detect unwanted behaviour and allow survey analysts to correct or exclude low-quality responses. This thesis describes the development, implementation and empirical evaluation of a survey quality tool (SQT), which automatically detects negative respondent behaviour. The tool was evaluated in two empirical studies. The first study sought to validate SQT. The second study had the goal to collect qualitative and quantitative feedback and lessons learned regarding the tool’s practical applicability, usability and usefulness. Results confirmed the validity of SQT. Results also confirmed the tool’s practical applicability and usefulness, i.e., it was found to be useful and easy-to-use. The contribution of this thesis hence is a validated, useful and practical survey quality tool (SQT), which automatically detects careless response patterns of negative respondent behaviour and warns survey analysts about low-quality responses. Future work can use this tool and investigate new methods for measuring negative respondent behaviour and compare those new measures with the established ones that are already implemented in the tool. Specifically, it would be interesting to use machine learning to classify respondent behaviour and to potentially identify new careless response patterns that are not yet covered in related work.

Datenqualität ist essentiell, um valide und zuverlässige Ergebnisse aus einer Onlineumfrage zu erhalten. Verwandte Arbeiten zeigen, dass Nutzerantworten, welche eine schlechte Qualität aufweisen, die Datenqualität sowie auch das Ergebnis einer Onlineumfrage negativ beeinflussen können. Dieser Umstand ist für wissenschaftliche wie auch für kommerzielle Zwecke sehr problematisch. Ein Grund für schlechte Datenqualität in Onlineumfragen ist negatives Nutzerverhalten. Dieses unerwünschte Verhalten wurde bereits in vergangenen Arbeiten definiert und gemessen. Aktuell herrscht ein Mangel an einfach zu handhabbaren Programmen, welche negatives Nutzerverhalten automatisch und valide messen können. Mit Hilfe solcher Programme könnte der Umfragen-Analyst, Nutzerantworten mit geringer Datenqualität adaptieren oder diese aus dem Ergebnis der Onlineumfrage entfernen. Diese Diplomarbeit beschreibt die Planung, technische Umsetzung und die empirische Evaluierung eines Survey Quality Tools (SQT), welches das negative Nutzerverhalten automatisch misst. SQT wurde in zwei Fallstudien empirisch evaluiert. Fallstudie eins hatte das Ziel SQT zu validieren. Fallstudie zwei hatte das Ziel, Feedback über die Usability, die praktische Anwendbarkeit und den Nutzen von SQT zu evaluieren. Die Ergebnisse zeigten, dass SQT ein valides Tool, für das automatische Messen des negativen Nutzerverhaltens ist und in der praktischen Anwendung sich als nützlich erwies. Der Beitrag dieser Diplomarbeit zur Forschung an Online Umfragen ist somit ein erwiesenermaßen valides Programm (SQT), welches automatisch das negative Nutzerverhalten basierend auf verschiedenen Careless Response Patterns misst. Zukünftige Arbeiten können dieses Tool verwenden. Für die weitere Forschung wäre es interessant zu vergleichen, ob Artificial Intelligence basierte Ansätze negatives Nutzerverhalten eventuell noch genauer detektieren können und ob neue Careless Response Patterns, welche noch nicht in verwandten Arbeiten aufscheinen, dadurch definiert werden können.