Exploring group fairness in news media recommendations: Algorithms, metrics, and grouping

Abstract

Neben den Genauigkeitsmetriken sind Fairness und Diversität zu weithin untersuchten Themen in Empfehlungssystemen geworden. Die Verbesserung dieser Metriken ist nicht nur aus ethischer und rechtlicher Sicht wichtig, sondern kann auch die allgemeine Zufriedenheit der Nutzer und Nutzerinnen verbessern. Obwohl Fairness- und Diversitätsmetriken weithin diskutiert werden, gibt es nur sehr wenige empirische Untersuchungen, insbesondere zum Vergleich verschiedener Algorithmen mit unterschiedlichen Metriken. Diese Arbeit untersucht die Rolle von Fairness und Diversität in Empfehlungssystemen für Nachrichten, insbesondere im Kontext der österreichischen Medienlandschaft. Ziel dieser Studie ist es, die effektivsten Ansätze zur Generierung von fairen und vielfältigen Nachrichtenempfehlungen zu identifizieren und gleichzeitig die möglichen negativen Folgen von einseitigen Empfehlungen und Filterblasen, wie z.B. gesellschaftliche Polarisierung und die Unterdrückung von Informationen, zu berücksichtigen. Die Forschungsmethoden umfassen eine umfassende Literaturrecherche über relevante Metriken zur Gruppenungerechtigkeit und modernste Algorithmen, die auf Fairness ausgerichtet sind. Darüber hinaus wurde ein Datensatz von Artikeln einer österreichischen Zeitung für die empirische Untersuchung verwendet, wobei die politische Ausrichtung, Fairness und Vielfalt der Empfehlungen analysiert wurden. Die Kernergebnisse dieser Studie sind, dass Genauigkeit und Fairness mit dem richtigen Modellierungsansatz gleichzeitig erreicht werden können, während die Vielfalt mit diesen Modellierungstechniken konstant gehalten werden kann. Die Studie empfiehlt die Verwendung von personalisierten Fairness-Modellen auf der Grundlage von Kausalvorstellungen für die Genauigkeit und die Verringerung bestimmter Unfairness-Kennzahlen und stellt fest, dass Fairness-Ziele für kollaborative Filtermodelle bei der Verringerung anderer Arten von Unfairness effektiver sind. Die Ergebnisse leisten einen Beitrag zum Fachgebiet, indem sie zeigen, wie wichtig es ist, Fairness- und Diversitätsmetriken in die Entwicklung und Bewertung von Empfehlungssystemen einzubeziehen und indem sie Hinweise auf die effektivsten Ansätze zur Erreichung dieser Ziele geben. Die Studie gibt weiters interessante Einblicke in das Leseverhalten und die politische Ausrichtung von Nachrichtenartikeln, welche von Österreicherinnen und Österreichern gelesen werden und zeigt den Bedarf an weiterer Forschung in diesem Bereich auf.

Beyond accuracy metrics, such as fairness and diversity, have become widely studied topics in recommender systems. Improving these metrics is important not only from an ethical and legal perspective, but can also improve overall user satisfaction. Although fairness and diversity metrics are widely discussed, very little empirical research has been done, especially comparing multiple algorithms across different metrics. This thesis explores the role of fairness and diversity in news recommender systems, specifically in the context of the Austrian media landscape. This study aims to identify the most effective approaches for generating fair and diverse news recommendations, while addressing the potential negative consequences of biased recommendations and filter bubbles, such as societal polarization and the suppression of information. The research methods include an extensive literature review of relevant group unfairness metrics and state-of-the-art fairness-aware algorithms. In addition, a dataset of articles from an Austrian newspaper was used for empirical research, with analysis performed on political labeling, fairness, and diversity of recommendations. The key message of the study is that accuracy and fairness can be achieved simultaneously with the right modeling approach, while diversity can be held constant using these modeling techniques. The study recommends the use of Personalized Fairness based on Causal Notion models for accuracy and reducing certain unfairness metrics, and finds Fairness Objectives for Collaborative Filtering models more effective at reducing other types of unfairness. The findings contribute to the field by demonstrating the importance of incorporating fairness and diversity metrics into the design and evaluation of recommender systems, and by providing guidance on the most effective approaches to achieve these goals. The study also reveals interesting insights into the reading behaviors and political lean of news articles read by Austrians, and suggests the need for further research in this area.