Choice-based Preference Elicitation to Reduce the Cold Start Problem of a Leisure Activities Recommender in a Mobile App

Abstract

Frühe Phasen von Nutzerinteraktionen stellen für Empfehlungssyteme eine große Herausforderung dar, insbesondere aufgrund des Kaltstartproblems. Dieses Problem entsteht dadurch, dass neue Nutzer oder Angebote ohne historische Daten keine personalisierten Empfehlungen erhalten können. Diese Arbeit untersucht die Effektivität von vier visuellen Methoden - Swipe, Rating, Two-Items und Four-Items - zur Ermittlung von Interessen, um ein initiales Nutzerprofil während des Onboarings in einem Empfehlungssystem für Freizeitaktivitäten zu erstellen. Dieses Empfehlungssystem ist in einer mobilen App integriert. Dazu wurde ein browserbasierter Prototyp einer Umfrage entwickelt und die Methoden hinsichtlich Abschlussrate, Zeiteffizienz, Benutzerfreundlichkeit und Profilgenauigkeit bewertet. Die Studie umfasste 382 Teilnehmer, welche die Umfrage vollständig durchgeführt haben. Die Ergebnisse zeigen klare Kompromisse zwischen der Einfachheit der Interaktion und der daraus resultierenden Qualität des Präferenzprofils. Die Swipe-Methode erzielte die höchsten Werte bei Benutzerfreundlichkeit und Abschlussrate, führte jedoch zu den ungenauesten Präferenzprofilen. Die Rating-Methode liefert die genauesten Präferenzprofile, jedoch dauerte die Durchführung länger und die Abschlussrate war geringer als bei der Swipe-Methode. Die Two-Items-Methode zeigte eine ausgewogene Leistung hinsichtlich Zeiteffizienz und Profilgenauigkeit, hatte jedoch die niedrigste Abschlussrate. Die Four-Items-Methode konnte zwar bei der Abschlussrate überzeugen, die Profilgenauigkeit lag aber unter der Rating-Methode und der Two-Items-Methode. Zudem war die Durchführungszeit der Four-Items-Methode signifikant länger im Vergleich zu den anderen Methoden. Diese Arbeit leistet einen Beitrag zur Reduzierung des Kaltstartproblems in Empfehlungssystemen und bietet wertvolle Einblicke in die Gestaltung benutzerfreundlicher und effektiver Präferenzabfragemethoden im Kontext einer mobilen App für Freizeitaktivitäten.

Early stages of user interactions pose a significant challenge for recommender systems, particularly due to the cold start problem. This issue arises when new users or items lack historical data, making it difficult to generate personalized recommendations. This thesis investigates the effectiveness of four visual preference elicitation methods - Swipe, Rating, Two-Items, and Four-Items - for constructing an initial preference profile during the onboarding process of a mobile leisure activities recommender system. For this purpose, a browser-based survey prototype was developed, and these methods were evaluated in terms of completion rate, time efficiency, usability, and profile accuracy. The study included 382 participants who completed the survey. The results show clear trade-offs between ease of use and the quality of the resulting preference profile. The Swipe method achieved the highest scores in usability and completion rate but resulted in the least accurate preference profiles. The Rating method produced the most accurate profiles but required more time and showed a lower completion rate than the Swipe method. The Two-Items method showed a balanced performance in terms of time efficiency and profile accuracy but had the lowest completion rate. While the Four-Items method performed well in terms of completion, its profile accuracy was lower than that of the Rating method and the Two-Items method. Additionally, the completion time was significantly longer compared to the other methods. This thesis contributes to the mitigation of the cold start problem in recommender system and provides valuable insights into the design of user-friendly and effective preference elicitation methods in the context of a mobile leisure activities application.