Measuring polarization in an online news forum

Abstract

Die Kontroversen um die US-Präsidentschaftswahlen 2020 haben gezeigt, wie polarisiert unsere Gesellschaft wirklich ist. Menschen sind in ihren ganz eigenen Filterblasen gefangen, die durch Empfehlungsalgorithmen von Facebook und Twitter erzeugt werden und sie anfälliger für Manipulation im Allgemeinen machen. Um diesen nachteiligen Auswirkungen der Polarisierung entgegenzuwirken, ist es notwendig, in einem ersten Schritt die Polarisierung in diesen Netzwerken zu identifizieren, zu analysieren und zu quantifizieren. Wir konzentrieren uns jedoch nicht auf soziale Netzwerke, da sie bereits vielfach Forschungsgegenstand waren, sondern auf Online-Nachrichtenforen, da sie für die Verbreitung von Informationen ebenso entscheidend sind. Hierfür verwenden wir die Daten des größten österreichischen Online-Nachrichtenforums derStandard.at. Obwohl in der Literatur eine Vielzahl von Methoden zur Quantifizierung von Polarisierung veröffentlicht wurde, existiert bis heute kein umfassender Vergleich dieser Methoden. Wir identifizieren daher geeignete Methoden zur Erkennung und Quantifizierung von Polarisierung in sozialen Netzwerken und vergleichen und bewerten diese in Bezug auf Korrektheit und Leistungsfähigkeit. Hier zeichnet sich Boundary Connectivity durch Korrektheit bei gleichzeitig bester Laufzeit-Performance als gemeinsamer Nenner aus. Außerdem evaluieren wir verschiedene Möglichkeiten, um Netzwerke in einem Online-Nachrichtenforum zu extrahieren und die Polarisierung zu messen. Wir zeigen, dass populäre und kontroverse Inhalte nicht unbedingt polarisiert sein müssen. Darüber hinaus berechnen wir die Polarisierung von 5.000 Artikeln, wodurch sich zeigt, dass einige Messmethoden, insbesondere die häufig verwendete Modularität, in diesem Fall keine konsistenten Ergebnisse liefern. Die Erkenntnisse, die wir aus der Analyse der Polarisierung gewonnen haben, bestätigen unsere Vermutung, dass Methoden aus der Social Network Analysis sehr von der Anwendung inhaltsbasierter Methoden, wie Natural Language Processing, profitieren könnten um ein besseres Verständnis der Inhalte selbst zu erhalten, anstatt sich nur auf strukturelle Eigenschaften zu verlassen. Darüber hinaus analysieren wir die Polarisierung ganzer Themen, d. h. einzelner Artikel die sich auf dasselbe Thema beziehen. Wir definieren kontextunabhängige Einschränkungen für diese zusammengesetzten Netzwerke, die erfüllt sein müssen um Verzerrungen bei der Messung der Polarisierung zu minimieren. Darüber hinaus haben wir auch die Polarisierung auf Basis der Beziehungen zwischen Benutzern analysiert, d. h. Benutzer die sich gegenseitig folgen oder ignorieren, was sich als nicht polarisiert herausstellte.

The controversies around the 2020 U.S. presidential election have proven how polarized and separated our society really is. People are imprisoned in their very own echo chambers and filter bubbles, created by the recommendation algorithms of Facebook and Twitter, making people more vulnerable to manipulation in general. To counter these adversarial effects of polarization, it is necessary to identify, analyse and quantify polarization in social networks. We do not focus on social media networks however, as they have already been subject to relevant research numerous times, but on online news forums, as they are just as critical for spreading information. For this, we use the data from the largest Austrian online news forum derStandard.at. Although a broad range of methods has been published in literature to quantify polarization, no extensive comparison exists to this day. We therefore identify suitable methodologies to detect and quantify polarization in social networks and compare and evaluate them in terms of correctness and performance. Here, Boundary Connectivity stands out as a common denominator, being able to quantify polarization correctly while also showing the best run-time performance. We also describe and evaluate different possibilities to extract networks and measure polarization in an online news forum. We show that popular and controversial content must not necessarily be highly polarized. Furthermore, we calculate the polarization of 5,000 articles which enables us to get a more in-depth insight into the various polarization measurements, of which some fail to produce consistent results. The frequently used Modularity measure for instance fails to reliably quantify polarization. The insights we gained from analysing polarization based on user-generated comments, confirms our assumption, that methods from Social Networks Analysis could benefit greatly from applying content-based methods such as Natural Language Processing, to get a better understanding of the content itself, instead of solely relying on structural properties. Moreover, we analyze the polarization of whole topics, i.e. single articles related to the same subject. We define context-independent restrictions for these composed networks that must be fulfilled to minimize bias when measuring the polarization. We also analysed polarization based on the relationships between users, i.e. users following or ignoring each other, which turned out as not being polarised.