A general approach to preselect useful interviews in online surveys

Abstract

Surveys play a crucial role in various scientific disciplines and industry, offering insights into human behaviour and preferences. However, online surveys are facing increasing challenges posed by bots and bad respondents which threaten the data integrity. We aim to address the issue of bad respondents which are humans without the intention to answer the questions of a survey based on their real views or knowledge. We propose a generally usable strategy to preselect useful interviews, thus ensuring the reliability of survey results. Our approach involves two components, the answer times on a question level and the answer patterns. Both components are available for almost every survey what makes the strategy generally usable. We cluster the answer times on a question level to detect "speeders". We find that using the times on a question level is superior to using the total response times. We try to find anomalies in the answer patterns using an autoencoder which can detect suspicious answer behaviours such as often selecting "no answer". We flag interviews based on these two components and evaluate the strategy using two datasets where a reasonable ground truth is available. We outperform traditional detection methods based on metrics such as accuracy and recall. Additionally, a case-by-case analysis allows us to gain insights how bad respondents behave. The evaluations shows that our method is capable of preselecting useful interviews and detecting bad respondents. We analyze the effect of not excluding bad respondents. This helps to gain insights how bad respondents behave and indicates the importance of the task as there are significant shifts in the survey results if bad respondents are not excluded.

Umfragen sind in verschiedenen wissenschaftlichen Disziplinen und in der Industrie von zentraler Bedeutung, da sie wertvolle Einblicke in menschliches Verhalten und Präferenzen liefern. Allerdings stehen Online-Umfragen vor wachsenden Herausforderungen durch Bots und unzuverlässige Teilnehmerinnen und Teilnehmer, die die Integrität der Daten gefährden. Wir setzen uns mit dem Problem unzuverlässiger Teilnehmerinnen und Teilnehmer auseinander, also Personen, die nicht beabsichtigen, die Umfragen ehrlich und auf Grundlage ihrer tatsächlichen Ansichten oder ihres Wissens zu beantworten. Unser Ziel ist es, eine allgemeine Strategie zu entwickeln, um nützliche Antworten im Vorfeld auszuwählen und damit die Verlässlichkeit der Umfrageergebnisse zu sichern. Unsere Methode stützt sich auf zwei Komponenten: die Antwortzeiten auf Fragenebene und die Antwortmuster. Da beide Elemente in fast jeder Umfrage verfügbar sind, lässt sich unsere Strategie universell anwenden. Wir clustern die Antwortzeiten auf Fragenebene, um sogenannte „Speeder“ zu identifizieren, und stellen fest, dass die Betrachtung der Zeiten auf Fragenebene effektiver ist als die Analyse der gesamten Antwortzeit. Zudem nutzen wir einen Autoencoder, um Auffälligkeiten in den Antwortmustern zu erkennen, wie etwa das häufige Wählen von „keine Antwort“. Auf Basis dieser beiden Komponenten kennzeichnen wir bestimmte Interviews und bewerten unsere Strategie anhand zweier Datensätze, für die Vergleichsdaten vorliegen. Dabei übertrifft unser Ansatz traditionelle Erkennungsmethoden hinsichtlich Accuracy und Recall. Darüber hinaus ermöglicht uns eine detaillierte Analyse einzelner Interviews, das Verhalten unzuverlässiger Teilnehmerinnen und Teilnehmer besser zu verstehen. Unsere Auswertungen zeigen, dass unsere Methode in der Lage ist, nützliche Interviews vorab auszuwählen und unzuverlässige Teilnehmerinnen und Teilnehmer zu identifizieren. Zudem untersuchen wir, welche Auswirkungen es hat, wenn unzuverlässige Teilnehmerinnen und Teilnehmer nicht ausgeschlossen werden. Dies liefert wertvolle Erkenntnisse über deren Verhalten und unterstreicht die Bedeutung dieser Aufgabe, da die Umfrageergebnisse signifikant verzerrt werden, wenn unzuverlässige Teilnehmerinnen und Teilnehmer nicht herausgefiltert werden.