Latency-tiered hallucination detection : optimizing supervised-unsupervised pipelines for RAG systems

Abstract

OpenAI's GPT-4 halluziniert in 9,3 % der Antworten von Retrieval-Augmented Generation (RAG)-Systemen, doch bestehende Halluzinierungserkennungsmethoden erzwingen eine Entscheidung zwischen Geschwindigkeit und Genauigkeit. Schnelle Token-Klassifikatoren übersehen semantische Fehler und genaue Sampling-Methoden wie zum Beispiel Semantic Entropy erfordern das fünf- bis zehnfache der Generierungskosten. Diese Diplomarbeit stellt eine latenzgestufte Erkennungsarchitektur vor, die einen Transformer-Klassifikator mit unüberwachten Hidden-State-Probes kombiniert und dabei auf Erkennungslatenz unter 100 ms auf im Handel erhältlichen GPUs abzielt. Zwei Kombinationsstrategien werden evaluiert: Cascade Routing, bei dem sichere Halluzinationsvorhersagen einer früheren Stufe teurere spätere Stufen überspringen, und Score Blending, bei dem Stufen parallel ausgeführt und ihre Ausgaben über einen gewichteten Durchschnitt kombiniert werden.Der zentrale technische Beitrag ist die Grounding Probe: ein logistischer Regressionsklassifikator, der die Hidden States eines separaten Beobachtermodells als Eingabe verwendet, das die zu bewertende Antwort liest, ohne sie selbst erzeugt zu haben. Da die Probe auf internen Repräsentationen statt auf Oberflächentext operiert, erkennt sie semantische Inkonsistenzen, die Token-basierte Methoden übersehen. Ein früherer Ansatz, die Reading Probe, trainiert auf Korrektheit bei Frage-Antwort-Aufgaben als Proxy für Halluzination, leidet jedoch unter einem sogenannten Distribution Shift bei Anwendung auf RAG-Evaluierungsdaten. Die Grounding Probe vermeidet das durch direktes Training auf menschlich annotierten Halluzinationslabels aus dem RAGTruth-Dataset (15.090 Samples). Hidden-State-Repräsentationen sind hochdimensional (2.048–5.120 Dimensionen je nach Modellgröße), was bei begrenzten Trainingsdaten zu Overfitting führt. Die Anwendung von Principal Component Analysis (PCA), einem Verfahren zur Dimensionsreduktion, das Merkmale auf ihre informativsten Richtungen projiziert, auf 512 Dimensionen reduziert die Train-Test-AUROC-Lücke von 0,087–0,202 auf 0,009–0,013 bei Erhalt der Diskriminierungsfähigkeit. Grounding Probes erreichen 0,879–0,894 AUROC über vier Modellgrößen hinweg, wobei 28-mal weniger Trainingssamples benötigt werden als bei Reading Probes, die auf 428.619 Frage-Antwort-Paaren trainiert wurden.Cascade Routing verbessert AUROC sowohl für den Base-Transformer (+0,038 bis +0,048) als auch für den Large-Transformer (+0,019 bis +0,029), verschlechtert jedoch den F1-Wert für den Large-Transformer um −0,026 bis −0,042 aufgrund bimodaler Score-Verteilungen, die durch Mischung zweier unkalibrierter Score-Skalen entstehen. Score Blending löst dieses Problem: Die Kombination beispielsweise des LettuceDetect-Large-Transformers (29 ms) mit einer Qwen 2.5 14B Grounding Probe (94 ms) erreicht 0,924 AUROC, 0,820 F1@0,5 und 0,820 OptF1 auf dem RAGTruth-Testset, was den Transformer in allen Metriken übertrifft (+0,060 AUROC, +0,028 F1@0,5, +0,027 OptF1). In der gemischten Generatorevaluierung übertrifft dieses Ergebnis das unserer Kenntnis nach beste publizierte RAGTruth-Resultat (LUMINA, 0,857 in Einzelgenerator-Evaluierung), wobei die unterschiedlichen Evaluierungsprotokolle einen direkten Vergleich einschränken. Eine kosteneffiziente Variante mit Qwen 2.5 3B erreicht 0,915 AUROC bei 49 ms paralleler Latenz. Score Blending verbessert beide Transformer-Varianten, während Cascade Routing den F1-Wert nur für den Base-Transformer erhält.Eine Komponentenanalyse von sechs Erkennungskomponenten zeigt, dass viele Token-Augmentierungen (z.B. Named Entity Recognition, numerische Verifikation) den AUROC auf Pipeline-Ebene trotz starker Einzelleistung nicht verbessern. Alle Quelltexte, trainierten Probes und Evaluierungsskripte werden als Erweiterungen des Open-Source-Frameworks LettuceDetect veröffentlicht.

Retrieval-Augmented Generation (RAG) grounds language model outputs in retrieved documents, yet these systems still hallucinate. On the RAGTruth benchmark, GPT-4 produces unsupported content in 9.3% of RAG responses, and existing detection methods require a tradeoff between speed and accuracy. Fast token-level classifiers, which flag unsupported spans by matching against the source, miss semantic errors. Accurate sampling-based methods such as semantic entropy, which generate multiple responses and measure their disagreement, require 5–10× the generation cost. This thesis presents a latency-tiered detection architecture that combines a supervised transformer classifier with unsupervised hidden-state probes, targeting sub-100 ms detection on commercially available GPUs. Two combination strategies are evaluated: cascade routing, where confident early-stage predictions skip expensive later stages, and score blending, where both stages run in parallel and their outputs are combined via a weighted average.The core technical contribution is the Grounding Probe: a logistic regression classifier that takes as input the hidden states of a separate observer language model, one that reads but does not generate the response under evaluation. Because the probe operates on internal representations rather than surface text, it captures semantic inconsistencies that token-level methods miss. An earlier variant developed in this work, the Reading Probe, trains on question-answering correctness as a proxy for hallucination, but suffers distribution shift when applied to RAG evaluation data. The Grounding Probe avoids this by training directly on human-annotated hallucination labels from RAGTruth (15090 samples). Hidden-state representations are high-dimensional (2048–5120 dimensions depending on model size), which causes overfitting when training data is limited. Applying PCA, a dimensionality reduction technique that projects features onto their most informative directions, to 512 dimensions reduces the train–test Area Under the Receiver Operating Characteristic Curve (AUROC) gap from 0.087–0.202 to 0.009–0.013 while preserving discriminative power. Grounding Probes achieve 0.879–0.894 AUROC across four model sizes, using 28× fewer training samples than Reading Probes trained on 428619 question-answering pairs.Cascade routing improves AUROC for both the base transformer (+0.038 to +0.048) and the large transformer (+0.019 to +0.029), but degrades F1 for the large transformer by −0.026 to −0.042 due to bimodal score distributions created by mixing two uncalibrated score scales. Score blending resolves this: blending the LettuceDetect large transformer (29 ms) with a Qwen 2.5 14B Grounding Probe (94 ms) achieves 0.924 AUROC, 0.820 F1@0.5, and 0.820 OptF1 on the RAGTruth test set, improving all metrics over the transformer alone (+0.060 AUROC, +0.028 F1@0.5, +0.027 OptF1). Under mixed-generator evaluation, this surpasses the best published RAGTruth result (LUMINA, 0.857 in per-generator evaluation) that we know of, though the different evaluation protocols limit direct comparison. A cost-effective variant using Qwen 2.5 3B reaches 0.915 AUROC at 49 ms parallel latency. Score blending improves both transformer variants, while cascade routing only preserves F1 for the base transformer.A component analysis of six detection methods shows that token-level augmentations (i.e., named entity recognition, numeric verification) do not improve pipeline-level AUROC despite strong standalone performance, an informative negative result for future system designs. All code, trained probes, and evaluation scripts are released as extensions to the open-source LettuceDetect framework.