Real-time prevention of factual hallucinations in retrieval-augmented generation

Abstract

Large language models are increasingly deployed in settings where factual accuracy is indispensable. Yet even within retrieval-augmented generation (RAG) pipelines they keep producing statements that the supplied context does not support. Available hallucination detection models engage only once generation has finished, which means they mark faulty passages after the fact rather than averting them.This thesis examines how the divide between retrospective detection and real-timeprevention can be bridged. A logits-based mechanism is embedded into the generation loop of the Hugging Face library, where it inspects candidate tokens during decoding and suppresses unsupported ones before the decoding strategy commits to the next token. The candidate pool is further extended by lettuceprevent-ettin-decoder-68m-en, apurpose-trained detector whose causal decoder architecture is matched to the stepwise,left-to-right character of text generation.The investigation draws on the RAGTruth corpus and three host generators. A paired experimental design contrasts every prompt with an unmodified baseline and a prevention run. On the regex-verifiable subclass of numerical hallucinations the mechanism cutsthe volume of hallucinated numbers by 51.9 % to 64.8 % at a runtime overhead thatstays within the single-digit percentage range. Within the operational scope of themechanism, the digit-only reduction climbs to 86.0 % on Mistral-7B, the most numerically hallucination-prone host of the panel. In the detector comparison, the decoder lettuceprevent attains the highest hallucination-class F1-score and recall while recordingthe lowest cumulative runtime among all candidates.The full prevention pipeline for factual hallucinations produces a less uniform picture, since a statistically significant reduction is confirmed for Llama-2-7B alone, where as the runtime overhead climbs into the three-digit percentage range on every host. The results show thata logit-level intervention can suppress an entire class of hallucinations without rewritingthe host generator, and that the streaming-oriented decoder architecture surpassesencoder-based approaches under the real-time regime. Broad factual prevention, however,remains bounded for now by detector quality, tokenizer alignment, host variability and runtime cost.

Große Sprachmodelle finden zunehmend Anwendung in Bereichen, in denen sachliche Korrektheit unverzichtbar ist. Selbst innerhalb von Retrieval-Augmented-Generation(RAG) Pipelines erzeugen sie jedoch weiterhin Aussagen, die der bereitgestellte Kontext nicht deckt. Verfügbare Modelle zur Halluzinationserkennung setzen erst nach Abschluss der Generierung an und markieren fehlerhafte Passagen somit erst im Nachhinein. Die vorliegende Arbeit untersucht, wie sich diese Lücke zwischen retrospektiver Erkennung und echtzeitfähiger Prävention schließen lässt. Dazu wird ein logit-basierter Mechanismus in die Generierungsschleife der Hugging-Face Bibliothek eingebettet, der Kandidatentoken bereits während des Dekodierens prüft und nicht unterstützte Token unterdrückt, bevor die Dekodierungsstrategie das nächste Token festlegt. Ergänzend wird mit lettuceprevent-ettin-decoder-68m-en ein eigens trainierter Detektor vorgestellt, dessen kausale Decoder-Architektur auf den schrittweisen, von links nach rechts verlaufenden Charakter der Textgenerierung abgestimmt ist. Die Untersuchung stützt sich auf den RAGTruth Datensatz und drei Sprachmodelle. Ein gepaarter Experimentenaufbau stellt jedem Prompt einen unveränderten Basislauf und einen Präventionslauf gegenüber. Auf der regex-verifizierbaren Unterklasse numerischer Halluzinationen verringert der Mechanismus das Volumen halluzinierter Zahlen um 51,9 % bis 64,8 % bei einem Laufzeit-Overhead im einstelligen Prozentbereich. Im operativen Wirkungsbereich des Mechanismus steigt die Reduktion auf 86,0 % bei Mistral-7B, dem in numerischer Hinsicht halluzinationsanfälligsten Modell des Panels. Im Detektorvergleich erreicht der Decoder lettuceprevent den höchsten F1-Wert und den höchsten Recall auf der Halluzinationsklasse sowie zugleich die geringste kumulierte Laufzeit aller Kandidaten. Die vollständige Präventionspipeline für faktische Halluzinationen ergibt ein uneinheitlicheres Bild, da eine statistisch signifikante Reduktion nur für Llama-2-7B nachweisbar ist, während die Laufzeit auf jedem Sprachmodell in den dreistelligen Prozentbereich steigt. Die Ergebnisse zeigen, dass eine Intervention auf Logit-Ebene eine ganze Klasse von Halluzinationen unterdrücken kann, ohne das Sprachmodell zu verändern und dass die streaming-orientierte Decoder-Architektur encoder-basierten Ansätzen im Echtzeit-scenario überlegen ist. Eine breit angelegte faktische Prävention bleibt vorerst durch Detektorqualität, Tokenizer-Ausrichtung, Modell-Variabilität und Laufzeitkosten begrenzt.