Open Information Extraction for Fact-Checking Large Language Models

Abstract

Große Sprachmodelle (Large Language Models, LLMs) haben bemerkenswerte Fähigkeiten bei der Erzeugung kohärenter und kontextuell relevanter Antworten gezeigt. Dennoch stellt ihre Neigung zur Generierung von Halluzinationen – also plausibler, aber falscher oder nicht treuer Informationen – eine erhebliche Herausforderung für praktische Anwendungen dar. Daher wurde die Erkennung solcher Halluzinationen in von LLMs erzeugten Texten intensiv erforscht. Frühere Studien haben sich jedoch überwiegend auf grobkörnige Ansätze oder textbasierte Spanerkennung gestützt, was die präzise Erkennung von Halluzinationen auf der Ebene einzelner Wissenseinheiten erschwert.In dieser Arbeit präsentieren wir ein Framework zur Halluzinationserkennung auf Wissensebene, das Halluzinationen auf der Ebene strukturierter Wissenseinheiten – konkret Triplets (arg1, relation, arg2) – identifiziert. Unser Ansatz extrahiert und überprüft Triplets sowohl aus den von LLMs generierten Ausgaben als auch aus Referenztexten und vergleicht diese beiden Mengen zur Erkennung von Halluzinationen. Durch den Einsatz von LLMs sowohl für die Triplet-Extraktion als auch für die Validierung vermeiden wir komplexe mehrstufige Pipelines und erreichen gleichzeitig eine hohe Erkennungsgenauigkeit.Zur Evaluation unseres Ansatzes führten wir Experimente zur Halluzinationserkennung durch, wobei wir uns auf besonders herausfordernde Fälle konzentrierten – darunter abso- lute Erfindungen, kontextuelle Erfindungen und detaillierte Informationsverfälschungen. Unser Framework wurde mit halluzinierten Daten getestet, die mithilfe des BioASQ- Datensatzes und unseres Hallucinated Data Generators erzeugt wurden.Die experimentellen Ergebnisse zeigen, dass unser Ansatz ein starkes Gleichgewicht zwischen Sensitivität (0,88) und Spezifität (0,81) erreicht und die bisherige Methode zur Halluzinationserkennung auf Wissensebene deutlich übertrit. Im Vergleich zu bestehenden Triplet-basierten Verifizierungsmodellen verbessert unser Framework nicht nur die Erkennungsgenauigkeit, sondern reduziert auch die Anzahl notwendiger Verifizierungsanfragen und steigert so die Ezienz.Darüber hinaus heben unsere Experimente die entscheidende Rolle von Prompting- Techniken bei der Verbesserung der Halluzinationserkennung hervor. Strukturierte und detaillierte Anweisungen steigern die Faktentreue erheblich, während Few-Shot-Beispiele und Chain-of-Thought-Reasoning die Spezifität verbessern. Unser leistungsstärkster xiPrompt, der detaillierte Anweisungen mit Chain-of-Thought-Reasoning kombinierte, erzielte eine Sensitivität von 0,88 und eine Spezifität von 0,81. Diese Ergebnisse unterstreichen den Einfluss von Prompt Engineering auf die Optimierung der Halluzinationserkennung bei LLMs.Unsere Studie stellt ein ezientes und fein abgestuftes Framework zur Erkennung von Halluzinationen vor und bietet eine skalierbare und präzise Lösung zur wissensbasierten Faktenerkennung in großen Sprachmodellen.

Large language models (LLMs) have demonstrated remarkable capabilities in generating coherent and contextually relevant responses. However, their tendency to produce hallucinations—plausible but incorrect or unfaithful information—poses a significant challenge for practical applications. As a result, hallucination detection in LLM-generated outputs has been extensively studied. However, previous studies have primarily relied on coarse-grained approaches or text-based span detection, making it challenging to detect hallucinations at precise knowledge units.In this thesis, we present a knowledge-level hallucination detection framework that identifies hallucinations at the level of structured knowledge units, specifically triplets (arg1, relation, arg2). Our approach extracts and verifies triplets from both LLM-generated outputs and reference texts, comparing these two sets for hallucination detection. By leveraging LLMs for both triplet extraction and validation, our method circumvents the need for complex multi-step pipelines while maintaining high detection accuracy.To evaluate our approach, we conducted hallucination detection experiments focusing on challenging hallucination cases, including Absolute Fabrication, Contextual Fabrication, and Detailed Information Modification. We tested our framework using hallucinated data generated with the BioASQ dataset and our Hallucinated Data Generator.Experimental results demonstrate that our method achieves a strong balance between sensitivity (0.88) and specificity (0.81), significantly outperforming the previous state-of- the-art knowledge-level detection approach. Compared to existing triplet-based verifica- tion models, our framework not only enhances hallucination detection accuracy but also reduces the number of verification requests, improving eciency.Furthermore, our experiments highlight the critical role of prompting techniques in enhancing hallucination detection. Structured and detailed instructions significantly improve factual accuracy, while few-shot examples and chain-of-thought reasoning con- tribute to better specificity. Our best-performing prompt, which combined detailed instructions with chain-of-thought reasoning, achieved 0.88 sensitivity and 0.81 specificity. These findings underscore the impact of prompt engineering in optimizing LLM-based hallucination detection.Our study introduces an ecient and fine-grained hallucination detection framework, providing a scalable and accurate solution for knowledge-level fact verification in LLMs.