Exhibit rating prediction and vistior path prediction in a museum setting

Abstract

Die Vorhersage von Bewertungen und Pfaden von Besuchern eines Museums oder einer Ausstellung, ist ein wichtiges Problem, welches jedoch in der Forschung bisher wenig Aufmerksamkeit gefunden hat. Die Literatur zu diesem Problem ist begrenzt, und Autoren vergleichen selten mehrere Ansätze, weshalb der aktuelle Stand der Technik unklar ist. Diese Studie basiert auf einem Datensatz, der aus expliziten Bewertungen von Museumsbesuchern besteht, die mithilfe einer Webanwendung in einer Ausstellung in Rom gesammelt wurden. Wir testen das Potenzial zahlreicher relevanter Ansätze und Baselines, welche wir bei Bedarf an unser Setting anpassen, und für welche wir mehrere geeignete Modifikationen der Ansätze vorschlagen. Diese Ansätze vergleichen wir anschließend anhand eines umfassenden Bewertungsrahmens. Unser vorgeschlagener Bewertungsrahmen berücksichtigt die Reihenfolge der Ausstellungsobjekte, in der die Besucher die Ausstellungsobjekte besucht haben, was unserer Meinung nach in der physischen Umgebung notwendig ist. Wir analysieren auch die Performance der Ansätze in Bezug auf die Besucherpfadtiefe (die Anzahl der Bewertungen, die ein Benutzer bereits abgegeben hat). Im Fall der Bewertungsvorhersage konzentrieren wir uns auf die Präzision der Rangfolgemetrik bei k, und im Fall der Pfadvorhersage konzentrieren wir uns auf die Genauigkeitsmetrik der Folge. Bei dem Bewertungsvorhersageproblem beobachten wir, dass unsere Ansätze Verbesserungen gegnüber der Baseline bringen, je mehr Bewertungen der Benutzer abgibt, und schlechter abschneiden, wenn wir eine höhere Anzahl von Elementen bewerten. Wir haben außerdem herausgefunden, dass ein State-of-the-art-Ansatz, der für einen großen Datensatz aus einer anderen Domäne entwickelt wurde, im Allgemeinen überraschenderweise die beste Leistung erbringt. Für die Aufgabe zur Pfadvorhersage kommen wir zu dem Schluss, dass die Algorithmusleistung an verschiedenen Stellen in der Ausstellung weniger stabil ist, aber insgesamt schneidet ein Deep-Learning-Ansatz mit unserer vorgeschlagenen Modifikation im Allgemeinen selbst bei einem so relativ kleinen Datensatz am besten ab.

Rating prediction and path prediction tasks in a museum/exhibition setting are important problems, yet not well explored. Existing literature is limited and authors rarely compare multiple approaches, leaving an apparent research gap. In this study, we aim to close this research gap by giving a comprehensive comparison of state-of-the-art techniques for predicting user ratings and paths, which we test in an exhibition setting. The whole study is based on a dataset consisting of explicit museum visitor ratings collected using a web application in an exhibition in Rome. We select numerous relevant approaches and baselines, adapt them to our setting if needed, propose several modifications of the approaches and compare them using a comprehensive evaluation framework. Our proposed evaluation framework considers the order of the items in which the visitors visited the items that we argue is necessary for the physical setting. We also analyze the performance of the approaches in terms of visitor path depth (the number of ratings a user has already given). In the case of the rating prediction, we focus on the ranking metric precision at k, and in the case of path prediction, we focus on the subsequence accuracy metric. In the evaluation for the rating prediction problem we observe that the approaches over-perform the baselines more, the more ratings the user gives and perform worse if we rank a higher number of items. In addition, we discovered that a state-of-the-art technique created for a large dataset from another domain unexpectedly performed best in general. For the path prediction task, we conclude a deep learning approach with our proposed modification performs the best in general unexpectedly on such a relatively small dataset.