Dynamic sentiment analysis for measuring media bias

Abstract

Die Sentiment Analyse von Texten im Bereich der sozialen Medien und Nachrichten ist aktuell Gegenstand umfangreicher Forschung. Es ist ein weitbekanntes Problem, Maschinen zu lehren, wie die Stimmung von Texten, wie z.B. Nachrichten, automatisiert ausgewertet werden kann. Diese Masterarbeit hat das Ziel, dieses Konzept, im Bereich von Personen des öffentlichen Interesses, zu untersuchen. Im Speziellen werden Politiker_innen mit dem Fokus auf Wien betrachtet. Ein besonderes Interesse liegt außerdem auf dem Verlauf über die Zeit und die verschiedenen Medien. Sentiment Analyse wurde im Bereich der sozialen Medien und Nachrichten bereist umfangreich erforscht, nichtsdestotrotz sind aktuell noch viele Probleme ungelöst. Dies ist insbesondere der Fall für den Bereich der Nachrichten, welche wesentlich schlechter erforscht sind, als soziale Medien wie z.B. Twitter. Die Durchführung von Stimmunganalyse ist weiters stark sprachabhängig, wobei hier auch insbesondere das österreichische Deutsch einen Unterschied zu der standardmäßig durchgeführten Forschung im Standardhochdeutsch darstellt. Um diese Forschungslücken zu untersuchen, wird in dieser Arbeit eine Analyse mittels verschiedener Methoden des überwachten maschinellen Lernens durchgeführt. Diese beleuchtet den Bereich der Sentiment Analyse im Bezug zu Politiker_innen über die Zeit und den verschiedenen Nachrichtenquellen. Als Datenquelle wird der Austrian Media Corpus (AMC) herangezogen. Es hat sich gezeigt, dass Sentiment Analyse in dieser speziellen Domäne sehr herausfordernd ist. Nichtsdestotrotz zeigen die Ergebnisse, dass es möglich ist die Polarität von Politiker_innen über die Zeit zu bestimmen. Moderne Algorithmen, welche dem letzten Stand der Technik entsprechen, wie z.B. BERT basierte Modelle, übertreffen traditionelle Methoden. Auf BERT basierende Modelle haben aber den Nachteil, dass sie nicht transparent sind. Um diesen Nachteil auszugleichen, wurde zusätzlich ein lexikalischer Ansatz erfolgt, wodurch ein neues Stimmungswörterbuch entstanden ist. Dieses Sentiment Wörterbuch ist öffentlich zugänglich und kann für weitere Forschung benutzt werden. Das Sentiment Wörterbuch hat den Namen „Austrian Language Polarity in Newspapers (ALPIN)“. Die entwickelten Modelle bilden die Grundlage für eine Webanwendung zur Erforschung der Medienberichterstattung über Wiener Politiker_innen und der damit verbundenen Stimmungsdynamik.

Analyzing the sentiments of texts in the field of social news and news media is a big area of interest for many researchers around the world. It is a well-known problem to “teach” machines to understand the sentiments of texts e.g. news media. This master thesis aims to unveil the sentiments towards persons of public interests, who are often presented in emotionally charged contexts, for different media and over time with a focus on Vienna. Although sentiment analysis has been widely applied for analysing news and social media content, there are still many challenges unsolved. This is particularly true for the area of news media as it is not as well researched in this context as the area of social media (e.g., Twitter). Sentiment analysis is strongly language dependent. Sentiment analysis of German texts, however, hardly considers the specifics of Austrian German. To tackle these research gaps, this research performs a supervised machine learning (SML) analysis for analyzing the sentiment towards politicians over the time, and different media of the Austrian Media Corpus (AMC) different methods were compared. Sentiment analysis has been shown to be very challenging in this narrow domain. Nevertheless, results show that it is possible to predict the polarity of politicians over time. Modern state-of-the-art approaches such as BERT based models outperform traditional approaches but are not transparent, which is important when it comes to explainability and fairness. To overcome this lack of transparency, a lexical-based method was used, resulting in a new sentiment dictionary. This sentiment dictionary can be further used for research in this field and is called “Austrian Language Polarity in Newspapers (ALPIN)”. The developed models form the basis of a web application to explore media coverage of Viennese politicians and related sentiment dynamics.