Evaluating the Fairness of News Recommender Algorithms Within Detected User Communities

Abstract

Diese Arbeit befasst sich mit dem Problem der ungerechten Behandlung verschiedener Gruppen von Nutzer:innen hinsichtlich der Empfehlungen, die sie von Empfehlungsalgorithmen erhalten. Empfehlungssysteme, englisch „Recommender Systems“ (RS), sind Algorithmen, die Nutzer:innen die Objekte vorschlagen, die aufgrund ihrer Interaktionshistorie mit Objekten am ehesten von Interesse sind. RS werden in vielfältigen Bereichen eingesetzt, etwa zur Empfehlung von Musik auf Musik-Streaming-Plattformen. Frühere Studien haben gezeigt, dass RS, basierend auf kollaborativem Filtern, besonders empfindlich auf Datenungleichgewicht reagieren, was zu weniger relevanten Empfehlungen für bestimmte Gruppen von Nutzer:innen führt. Bei solchen Studien zur Gruppenfairness werden Benutzer:innen nach einem sensiblen Attribut gruppiert, das meist auf ihren Eigenschaften oder demografischen Merkmalen basiert, und die gerechte Behandlung dieser Gruppen wird dann untersucht. Diese Arbeit untersucht die Fairness von Empfehlungen, indem sie die Unterschiede zwischen Gruppen von Nutzer:innen und verschiedenen Algorithmen für kollaboratives Filtern quantifiziert, wobei ein Datensatz der österreichischen Online-Nachrichtenplattform „DER STANDARD“ verwendet wird. Im Gegensatz zu ähnlichen Arbeiten handelt es sich bei diesen Gruppen von Benutzer:innen um große Gemeinschaften oder Communitys, die in einem aus Interaktionsdaten modellierten Netzwerk entdeckt werden. Graphen mit verschiedenen Beziehungen zwischen Nutzer:innen werden anhand von Daten zu Klicks auf Nachrichtenartikel der Nutzer:innen und deren Community-Aktivitäten, wie Forumsbeiträge, Beitragsabstimmungen und Follower:innen, erstellt. Die Communitys in diesen Graphen werden mit zwei Algorithmen zur Erkennung von Gemeinschaften identifiziert. Der Graph mit der höchsten Übereinstimmung zwischen den Community-Erkennungsalgorithmen bei der Zuordnung von Nutzer:innen zu Gemeinschaften wird ausgewählt, und die Partition mit der höchsten Qualität wird verwendet, um Nutzer:innen basierend auf den erkannten Gemeinschaften zu gruppieren. Es wird untersucht, inwieweit verschiedene RS unterschiedliche Empfehlungen für Nutzer:innen liefern, wobei der Schwerpunkt auf den Unterschieden zwischen großen Communitys liegt. Diese Studie stellt Instabilitäten in den Community-Erkennungsalgorithmen fest, aufgrund von erheblichen Schwankungen bei Konsens-Bewertungen für Graphpartitionen sowie bei der Größe und Anzahl der erkannten Gemeinschaften, wenn Netzwerke anhand verschiedener Schwellenwerte für die Kantengewichtung gefiltert werden. Die Empfehlungen für die Nutzer:innen in den erkannten Communitys variieren erheblich abhängig vom Algorithmus für kollaboratives Filtern und der Evaluierungsmetrik.

This work addresses the problem of unfair treatment of different user groups in the recommendations they receive from recommendation algorithms. Recommender systems (RS) are algorithms that suggest items to a user that are most likely to be of interest, based on the user's interaction history with items. Recommendation algorithms are used in a variety of domains, such as recommending music on music streaming platforms. Collaborative filtering RS have been shown in previous studies to be particularly sensitive to data imbalance, resulting in less relevant recommendations for certain user groups. In such group fairness studies, users are grouped according to a sensitive user attribute, typically based on user traits or demographics, and the equitable treatment of these groups is then examined. This thesis explores the fairness of recommendations by quantifying variations between user groups and different collaborative filtering RS, using a dataset from the Austrian online news platform “DER STANDARD”. Unlike related work, these user groups are large user communities discovered in a user network modelled from user interaction data. Graphs with different user relationships are built using data on users' clicks on news articles and users' community activities, such as postings, votes for postings and users' followers. User communities in these networks are identified using two community detection algorithms. The graph with the highest agreement between community detection algorithms in assigning users to communities is selected, and the partition with the highest quality is used to group users based on the communities detected. The extent to which various RS provide different recommendations to users is evaluated, with a focus on differences between large user communities. This study identifies instability in community detection algorithms by observing considerable variations in consensus scores for graph partitions, as well as in the size and number of communities discovered when networks are filtered using different edge weight thresholds. The recommendations to users in the detected user communities vary considerably depending on the collaborative filtering RS and the evaluation metric.