Propaganda detection in Russian and American news coverage about the war in Ukraine through text classification

Abstract

In der Vergangenheit war Propaganda eine entscheidende Technik, um die Meinungen von Menschen subtil zu manipulieren. Mit dem Aufstieg der Massenmedien können subtile Meinungen von verschiedenen Quellen vermittelt werden, ohne dass der Leser dies erkennt. Auf diese Weise kann eine ganze Bevölkerung dazu manipuliert werden, bestimmte Aspekte zu glauben. Diese Thesis untersucht das Thema Propaganda in Nachrichtenartikeln. Durch Anwendung der CRISP-DM-Forschungsmethodik analysiert die Studie Propaganda-Techniken im russischen und amerikanischen Nachrichten, mit Fokus auf die Medienberichterstattung über den Angriff auf die Ukraine. Die Forschung präsentiert ein Propaganda Detection Model, das Ensemble Learning verwendet. Das Modell kombiniert mehrere Transformer Models, einschließlich BERT, OPT und RoBERTa, um 18 Propaganda-Techniken zu erkennen. Eine zentrale Erkenntnis ist die Wirksamkeit von Meta Classification mit Model Stacking, was Ensemble Averaging und andere Methoden übertrifft und einen Micro F1-Score von 0,78 erreicht, was auf ein hohes Maß an Genauigkeit bei der Propaganda-Erkennung hindeutet. Die Forschung zeigt das Potenzial des Propaganda Detection Model, Propaganda in Nachrichtenartikeln entgegenzuwirken und damit demokratische Prozesse zu bewahren. Sie trägt zum Verständnis der Nutzung von Propaganda im russischen und amerikanischen Nachrichtenkontext bei, indem sie deren monatliche Nutzung von Januar 2022 bis April 2023 analysiert und die Verteilung der Propaganda-Techniken vergleicht.

During different decades, propaganda was a vital technique to manipulate human opinions subtly. With the rise of mass media, subtle opinions can be incepted by various sources without being detected by the reader. A whole population can be manipulated into believing certain aspects this way. This thesis investigates the issue of propaganda in news articles. By applying the CRISP-DM research methodology, the study analyzes propaganda techniques in Russian and American news contexts, focusing on media coverage of the attack on the Ukrainian. The research presents a novel Propaganda Detection Model that utilizes Ensemble Learning. The model combines multiple Transformer Models, including BERT, OPT, and RoBERTa, to detect 18 propaganda techniques. A key finding is the effectiveness of Meta Classification with Model Stacking, surpassing Ensemble Averaging and other methods, achieving a Micro F1-Score of 0.78, indicating a significant level of accuracy in Propaganda Detection. The research reveals the potential of the Propaganda Detection Model to counteract propaganda in news articles, contributing to preserving democratic processes. It contributes to understanding the utilization of propaganda in Russian and American news contexts by analyzing its monthly usage from January 2022 to April 2023 and comparing the distribution of propaganda techniques.