Fact-checking claims using authority evidence

Abstract

Soziale Medien sind effektive Mechanismen zur schnellen Verbreitung von Desinformation und Gerüchten, gezielt oder ohne direkte Absicht dazu. Oft ist es aufwendig, Kontext für die Behauptungen auf diesen Plattformen zu finden. Das Volumen von Informationen aller Art, welche das Internet füllen, erschwert diese Aufgabe weiters.Wir präsentieren einen Ansatz zur automatisierten Überprüfung von Behauptungen in Social Media Postings unter Verwendung von Nachweisen, welche direkt aus den Kanälen von Autoritäten auf dem gegebenen Thema stammen. Mithilfe dieser Nachweise kann unser Ansatz Behauptungen automatisch als “unterstützt” oder “widerlegt” gekennzeichnet werden, basierend auf den Postings der Autoritäts-Accounts.In unserem zweistufigen Ansatz filtern wir relevante Postings zu einer Behauptung aus den Kanälen von Accounts, die “Autorität” über das Thema der Behauptung haben. Wir vergleichen mehrere Methoden zum Auffinden dieser relevanten Postings, von simplen lexischen Methoden zu komplexeren Embedding und Transformer-basierten Methoden.Wir untersuchen auch die Effektivität und Verlässlichkeit von “Large Language Models” (LLMs) zur automatischen Beurteilung des Verhältnisses von Posting und Behauptung, und präsentieren ermutigende Ergebnisse. Effektive und flexible Methoden für diese Art der “Natural Language Inference” sind essentiell, um diese automatisierten Klassifikationen zu treffen - besonders auf Plattformen, wo ein informeller Sprachstil die Norm ist. Die Größe eines Sprachmodells spielt eine wichtige Rolle in der Anwendbarkeit auf diese Aufgabe. Dazu präsentieren wir Vergleiche zwischen verschiedenen Modellgrößen und deren Effektivität auf unserem Datensatz.Zusätzlich inkludieren wir noch einige unserer Beiträge zur CLEF 2024 Konferenz, im Rahmen derer wir am CheckThat! Lab 2024 teilgenommen haben.Schlussendlich zeigen wir mögliche Erweiterungen und wichtige Aspekte im Kontext des automatisierten Fact-Checkings zu unserem Ansatz auf.

Social media is an opportune delivery vehicle for misinformation to spread quickly and effectively. Finding context for extraordinary claims made on these platforms can be challenging, given the volume of the information available online. We present an approach to claim verification in social media using evidence retrieved from the social media accounts of authorities on the claim topic. Using our approach, claims can be automatically labeled as “refuted” or “supported” based on the social media post timelines from relevant authorities.In a two-stage approach we first compare typical retrieval methods to search through a social media timeline and find posts that are relevant to a given claim. Our comparison includes both simple lexical retrieval methods, as well as more complex embedding and transformer-based methods.Further, we investigate the effectiveness and reliability of Large Language Models (LLMs) as “Natural Language Inference” (NLI) agents, and find promising results. Effective NLI methods are crucial the the development of an automated claim verification approach, especially in a setting where usage of informal language is the norm. The size of a model plays an important role in its performance on this task. To this end, we present comparisons between a range of model sizes and their respective performance on our chosen dataset.Additionally, we include some of our contributions to the 2024 CLEF conference, where we participated in at the 2024 CheckThat! Lab.Finally, we discuss possible extensions and caveats to our approach.