Ein visuelles Erkundungstool zur zeitlichen Analyse von Kundenbewertungen

Abstract

Diese Arbeit untersucht textliche Bewertungen und ihre Änderung mit der Zeit. Die Diplomarbeit ist durch die ständig erstellten textuelle Bewertungen motiviert. Bewertungswebseiten wie Yelp und TripAdvisor generieren monatlich Hunderttausende von Bewertungen. Es ist nicht möglich, diese Menge an Daten zu analysieren indem man jede einzelne Bewertung einfach liest. Wir suchen nach Mitteln, um die Fragen zu beantworten, die von Business-Analysten, Unternehmern und Investoren zu den Daten der Kundenbewertungen gestellt werden. Diese Diplomarbeit beschäftigt sich mit den Fragen wie: Warum verändern sich die Bewertungsnoten und –inhalte im Laufe der Zeit? Was sind die wichtigsten Themen, die diskutiert werden? Was sind die typischen Gründe, weswegen die Bewertungsnoten plötzlich steigen oder fallen? Was sind die Themen, die permanente oder vorübergehende Veränderungen in einer großen Sammlung von Bewertungsnoten hervorrufen? Wir haben ein Werkzeug namens ``Review Watcher'' entwickelt, das neuartige Herangehensweisen zur Untersuchung und Analyse von Bewertungsänderungen im Laufe der Zeit bietet. Das Werkzeug hat als Ziel, einfache, leicht zugängliche Informationen über zeitliche Veränderungen in einer Sammlung von Restaurantbewertungen zu liefern. Das Werkzeug verwendet reale Daten, die von Yelp zur Verfügung gestellt werden. Es verwendet grafische Methoden, um Veränderungen in den Bewertungsergebnissen über verschiedene Zeiträume anzuzeigen. Das Werkzeug analysiert die Bewertungsnoten im Laufe der Zeit, und versucht, Änderungen in diesen Bewertungen auf der Basis des Textinhaltes der Bewertungen zu erklären. Das Werkzeug verwendet automatische Textverarbeitungsalgorithmen, um wichtige und häufig verwendete Wörter in Textkorpora hervorzuheben. Wir benutzten eine qualitative Auswertung, um festzustellen, wie gut das Werkzeug die Forschungsfragen beantwortet. Wir führten eine Benutzerstudie mit Experten im Bereich der Wirtschaft durch. Sie teilten ihre Erkenntnisse mit, die sie mit Review Watcher gesammelt hatten, und verglichen sie mit ihren Erfahrungen bei der Arbeit mit anderen Werkzeuge zur Kundenzufriedenheits- und Bewertungsanalyse. Als Ergebnis unserer Forschung zeigen wir, dass Review Watcher es schafft, eine bessere Einsicht darin zu geben, was die Hauptthemen in einer Sammlung von textuelle Bewertungen sind. In der Diplomarbeit zeigen wir, dass Review Watcher im Vergleich zu bestehenden Werkzeuge für die Erkundung von Bewertungen besser geeignet ist, um die im Laufe der Zeit auftretenden Bewertungsänderungen hervorzuheben und Einblicke darin zu geben, warum die Änderungen aufgetreten sind. Das Werkzeug erweist sich auch als fähig, Millionen von textuelle Bewertungen von Zehntausenden von Restaurants mit für den Benutzer akzeptablen Ladezeiten zu verarbeiten. Die Benutzerstudie zeigt auch einige der Einschränkungen des Werkzeugs und sein Verbesserungspotential auf, z.B. bei der Einführung verbesserter Kategorisierungsfunktionen und geografischer Informationen über Restaurants.

This thesis explores textual review data and how it changes over time. The thesis is motivated by the constantly generated textual reviews. Review sites like Yelp and TripAdvisor are generating hundreds of thousands of reviews monthly. Analysing this amount of data is impossible by simply reading every individual review. We look for ways to answer questions that business analysts, business owners, and investors ask about customer review data. This thesis asks questions such as: Why do review scores and topics change over time? What are the major topics people discuss? What are the typical reasons why review scores suddenly increase or decrease? What are topics that invoke permanent or transient changes in a large collection of review scores? We created a tool called Review Watcher, which provides novel approaches to examine and analyse review changes over time. The tool aims to provide simple, easily accessible information regarding temporal changes in a collection of restaurant reviews. The tool uses real data provided by Yelp. It employs graphical ways to indicate changes in review scores over different periods of time. The tool analyses the review scores over time, and it tries to explain changes in these scores based on the textual content of the reviews. The tool utilises automated text processing algorithms to highlight important and often used words in text corpora. We used a qualitative evaluation to determine how well the tool manages to answer the research questions. We completed a user study with experts in the field of economics. They shared the insights they gathered using Review Watcher and compared them to their experiences working with other tools for customer satisfaction and review analysis. As a result of our research, we show that Review Watcher manages to provide better insight into what are major topics in a collection of textual reviews. In the thesis, we show that Review Watcher is better suited to highlighting review changes occurring over time and giving insights to why the changes occurred, compared to existing tools for review exploration. The tool is also proving capable of handling millions of textual reviews of tens of thousands of restaurants with acceptable loading times for the user. The user study also reveals some of the tool's limitations and potential for future work, for example in introducing improved categorisation functions and geographical information about restaurants.