A comparative performance analysis of deep reinforcement learning news recommender systems

Abstract

Mit der zunehmenden Nutzung von Online-Nachrichtendiensten, sowie dem Überfluss von Nachrichteninhalten, wächst der Bedarf an News Recommender Systems, die Nutzer*innen ihren Interessen entsprechende Nachrichtenbeiträge anbieten. Obwohl es sich nach wie vor um einen unterrepräsentierten Bereich in der Forschung zu Recommender Systemen handelt, so hat das Thema Nachrichtenempfehlung in den letzten Jahren einen Aufschwung erlebt. Vor allem die Veröffentlichung des frei zugänglichen, großen Datensatzes im Jahr 2020, namens "MIND", sowie der damit verbundene Wettbewerb, haben die Forschung weiter vorangetrieben. Ein weiteres Thema, das einen Anstieg an Forschungsaktivitäten verzeichnen kann, ist Deep Reinforcement Learning, seit der Veröffentlichung bahnbrechender, wissenschaftlicher Arbeiten zu Deep Q-Networks im Jahr 2013 und 2015. Die prominentesten Erfolge des Paradigmas liegen im Bereich der (Video-)Spiele. Nichtsdestotrotz wurde es auch auf eine Vielzahl anderer Probleme angewendet, einschließlich von Recommender Systems. Die folgende Arbeit verknüpft diese beiden Themen. Nachdem wir das notwendige Hintergrundwissen bereitstellen, stellen wir den aktuellen Stand der Forschung in den Bereichen News Recommender Systems, sowie Deep Reinforcement Learning Recommender Systems vor. Anschließend präsentieren wir den MIND Datensatz. Schließlich stellen wir das Reinforcement Learning Framework vor, das wir rund um diesen Datensatz entwickelt haben. Basierend darauf führen wir eine umfassende komparative Leistungsanalyse von Deep Reinforcement Learning News Recommender Systems durch. Neben dem Testen verschiedener Algorithmen vergleichen wir auch diverse News- und User-Encoder. Unsere reproduzierbaren Experimente decken eine Vielzahl von Ansätzen ab und bieten Einblicke darüber, welche Algorithmen und Encoder am besten für das Problem der Nachrichtenempfehlung geeignet sind. Die Ergebnisse des MIND Wettbewerbs für einen dieser Ansätze, auch wenn diese nicht bahnbrechend sind, unterstreichen die grundsätzliche Eignung und Anwendbarkeit von Deep Reinforcement Learning News Recommender Systems. Zusammenfassend adressiert diese Arbeit den Mangel an einer Open-Source, reproduzierbaren und umfassenden komparativen Leistungsanalyse. Wir sind der Meinung, dass diese Arbeit und der veröffentlichte Code, im Hinblick auf das bereitgestellte Hintergrundwissen und die Ergebnisse der Experimente, als Ausgangspunkt für weitere Forschung dienen kann.

With an increasing amount of news consumption taking place online, and an abundance of news content, comes the need for news recommender systems to serve users with news items that match their interests. While being an underrepresented domain among recommender system research, news recommenders have experienced a surge in the past decade. Especially the 2020 release of a public, large-scale news recommendation dataset and its accompanying competition, called "MIND", has further encouraged research, due to the previous lack of access to comparable data. Another topic that has seen a rise in research activity is reinforcement learning, particularly deep reinforcement learning, since the release of seminal papers on deep Q-networks in 2013 and 2015. While the learning paradigm's most prominent achievements come from the area of (video) games, reinforcement learning has been applied to various other problems, including the recommendation problem. This thesis conjoins these two topics. After providing the fundamental background knowledge required to understand the thesis, we present the state-of-the-art in news recommender systems, as well as deep reinforcement learning recommender systems. Subsequently, we discuss and critique the MIND dataset. Finally, we put forward the reinforcement learning framework that we have developed around it. We use this framework to conduct a comprehensive and reproducible comparative performance analysis of deep reinforcement learning news recommender systems. Along with testing several different algorithms, we also compare and contrast different news and user encoders. Our experiments cover a multitude of approaches, offering insights into which algorithms and encoders are most suitable for the news recommendation problem. The MIND competition results of one of these approaches, albeit not achieving ground-breaking scores, underline the general viability of deep reinforcement learning news recommender systems. In summary, this work addresses the lack of an open-source, reproducible and broad comparative performance analysis. We believe that this thesis, both in terms of the provided theoretical background and the experiment results, along with the published code, can serve as a starting point for further research.