A recommender system for the matchmaking of event participants

Abstract

Viele Teile unseres Lebens werden in letzter Zeit digitalisiert. Insbesondere Veranstaltungen, die traditionell persönlich abgehalten wurden, wechseln nun zu digitalen und hybriden Formaten. Solche Formate erschweren es, die richtigen Personen zu treffen, insbesondere bei großen Veranstaltungen. Ziel dieser Arbeit ist es, ein Empfehlungssystem ("Recommender System") für Business-to-Business (B2B)-Veranstaltungen zu entwerfen, zu implementieren und zu evaluieren, das jedem Teilnehmer eine personalisierte Liste von Teilnehmern zur Verfügung stellt, die für ihn oder sie von Interesse sein könnten. Dabei wird aus vergangenen Interaktionen gelernt und ausschließlich auf implizites Feedback wie Besuche, Lesezeichen, Nachrichten und gebuchte Meetings zurückgegriffen. Wir versuchen auch Empfehlungen für Teilnehmer zu machen, die keine vergangenen Interaktionen haben, indem wir ähnliche Benutzer in den Empfehlungsprozess einbeziehen. Die Daten werden von der Firma b2match bereitgestellt, die eine Online-Plattform zur Verwaltung von Veranstaltungen anbietet. Das Empfehlungssystem wird iterativ mit dem CRISP-DM- Prozess entwickelt, als eigenständiger Service implementiert und in die b2match-Plattform integriert. Um zu überprüfen, ob das Empfehlungssystem gut funktioniert, führen wir eine Offline-Evaluierung gegen Baselines (18 Veranstaltungen für die Entwicklung, 6 Veranstaltungen für die Evaluierung) und eine Online-Evaluierung auf 27 Veranstaltungen durch, die das Empfehlungssystem in der Produktion verwenden. Für die Bewertung mitteln wir die nDCG@10-Ranking-Metrik auf den personalisierten Listen von Teilnehmern aus, wobei jeder Teilnehmer eine Liste erhält. Die Ergebnisse sind vielversprechend. Das entwickelte Empfehlungssystem schneidet in einer Offline-Evaluierung signifikant besser ab als alle Baselines mit einem nDCG@10-Score von 0,1967. Die Ergebnisse der Baselines waren wie folgt: 0,0361 für eine Liste, die aus der Normalverteilung gezogen wurde (p = 0,0044), 0,0716 für ein Popularitätsranking (p = 0,0073), 0,0277 für zufällige Listen (p = 0,0045), 0,0452 für ein Ähnlichkeitsranking (p = 0,0051). Durch Hinzufügen eines hybriden Empfehlungssystems zur Lösung des Cold-Start-Problems konnten wir eine Verbesserung in Bezug auf nDCG@10 von 0,1967 auf 0,2227 (p = 0,0051) erreichen. Das entwickelte Empfehlungssystem erhöht auch die relative Anzahl erfolgreicher Meetings in einer Online-Evaluierung von 0,18% auf 0,31% (p = 0,0005). Unsere Studie kommt zu dem Schluss, dass Matrixfaktorisierungsalgorithmen auf unserem B2B-Event-Datensatz am besten abschneiden. Wenn ein Cold-Start-Szenario auftritt und keine Vorhersage für einen Teilnehmer getroffen werden kann, liefern personalisierte Empfehlungen auf der Grundlage von Interaktionsdaten ähnlicher Teilnehmer vielversprechende Ergebnisse.

Recently, many parts of our lives are becoming digitized. Especially events, which were traditionally held in-person, are now migrating to digital and hybrid formats. Such formats make it harder to find the right people to meet, particularly at large events. The goal of this thesis is to design, implement and evaluate a recommender system for business-to-business (B2B) events that provides to each participant a personalized list of participants that might be of interest to them, by learning from past interactions, relying exclusively on implicit feedback, such as visits, bookmarks, messages and meetings booked. We also attempt to make recommendations for participants that have no past interactions, by incorporating similar users into the recommendation process. Data is provided by the company b2match, which provides an online platform for managing events. The recommender system is developed iteratively using the CRISP-DM process, implemented as a standalone service, and integrated into the b2match platform. To verify that the recommender system works well, we do an offline evaluation against baselines (18 events for development, 6 events for evaluation) and an online evaluation on 27 events that use the recommender system in production. For the evaluation we average the nDCG@10 ranking metric on the personalized lists of participants, one list provided for each participant. The results are promising. The developed recommender system performs significantly better than all baselines in an offline evaluation, with an nDCG@10 score of 0.1967. The results of the baselines were as follows: 0.0361 for a list sampled from the normal distribution (p = 0.0044), 0.0716 for a popularity ranking (p = 0.0073), 0.0277 for random lists (p = 0.0045), 0.0452 for a similarity ranking (p = 0.0051). Adding a hybrid recommender to solve the cold start problem, we were able to achieve an improvement in terms of nDCG@10 from 0.1967 to 0.2227 (p = 0.0051). The developed recommender also increases the relative number of successful meetings in an online evaluation from 0.18% to 0.31% (p = 0.0005). Our study concludes that matrix factorization-based algorithms perform best on our B2B event data set. When a cold-start scenario arises and a prediction cannot be made for a participant, providing personalized recommendations based on interaction data from similar participants yields promising results.