E194 - Institut für Information Systems Engineering
-
Date (published):
2026
-
Number of Pages:
74
-
Keywords:
Retrieval-Augmented Generation; RAG; Financial Question Answering; Due Diligence; Information Retrieval; Large Language Models; Verbatim Extraction
en
Abstract:
Finanzielle Due-Diligence-Prozesse erfordern Antworten, die korrekt, nachvollziehbar und unmittelbar durch Quelldokumente belegt sind. Die Identifikation relevanter Informationen in langen und strukturell heterogenen Geschäftsberichten ist jedoch weiterhin eine manuelle und zeitaufwendige Aufgabe, während konventionelle generative Fragebeantwortungssysteme das Risiko bergen, unbelegte oder nur unzureichend prüfbare Antworten zu erzeugen. Diese Arbeit untersucht, ob eine mehrstufige, auf wörtlich übernommenen Textspannen basierende Retrieval-Augmented-Generation-(RAG)-Architektur die Beantwortung von Due-Diligence-Fragebögen (DDQs) im Bankenumfeld unterstützen kann. Aufbauend auf dem VerbatimRAG-Framework kombiniert die vorgeschlagene Pipeline Query Rewriting, Multi-Query Expansion, hybrides Dense- und Sparse-Retrieval, Cross-Encoder-Reranking sowie eine LLM-basierte Extraktion wörtlicher Textspannen. Extrahierte Textspannen werden nur dann beibehalten, wenn sie mit dem zugrunde liegenden Quelltext abgeglichen und darin verifiziert werden können. Da bislang kein annotierter Datensatz für die Beantwortung von AFME-basierten DDQ-Fragen anhand von Geschäftsberichten existiert, besteht ein weiterer Beitrag dieser Arbeit in der Erstellung eines neuen Evaluationsdatensatzes auf Grundlage der Geschäftsberichte des Jahres 2024 von vier österreichischen Bankinstituten. Der Datensatz umfasst sechzehn Fragen pro Institut sowie manuell annotierte Referenz-Textspannen. Die Annotationen für die Raiffeisen Bank International wurden gemeinsam mit einem Due-Diligence-Praktiker des Instituts erstellt, während die Annotationen für die übrigen drei Banken ausschließlich vom Autor angefertigt wurden. Die auf dem experten unterstützt annotierten Datensatz der Raiffeisen Bank International durchgeführte Retrieval-Ablationsstudie zeigt, dass die vollständige mehrstufige Konfiguration die Hit Rate gegenüber der Baseline von 0.583 auf 1.000 erhöht. Unter den untersuchten Rerankern erzielt BAAI/bge-reranker-v2-m3 die beste Retrieval-Leistung. Bei der Span-Extraktion erreichen google/gemini-3-flash-preview und openai/gpt-5.1 die besten Ergebnisse und erzielen jeweils einen RapidFuzz@75-F1-Wert von 0.690. Die Abstentionsgenauigkeit bei nicht beantwortbaren Fragen variiert erheblich zwischen den Modellen und reicht von 1.000 für openai/gpt-5.1 bis 0.200 für google/gemini-2.5-flash-lite. Die bankübergreifende Evaluation zeigt, dass sich die Retrieval-Architektur gut auf andere Institute übertragen lässt und für alle vier Banken eine Hit Rate von mindestens 0.909 erreicht. Die wörtliche Span-Extraktion reagiert hingegen empfindlicher auf institutsspezifische Berichtsstile und Annotationsmerkmale, während die Zuverlässigkeit der Abstention sowohl zwischen Modellen als auch zwischen Instituten erheblich variiert. Die Ergebnisse legen nahe, dass die vorgeschlagene Architektur die Lokalisierung relevanter Textpassagen in Human-in-the-Loop-Due-Diligence-Prozessen unterstützen und zugleich die Nachvollziehbarkeit der Quellen gewährleisten kann. Verbleibende Extraktionsfehler und ein uneinheitliches Abstentionsverhalten zeigen jedoch, dass das System noch nicht für autonome Entscheidungsprozesse geeignet ist und eine menschliche Prüfung der extrahierten Textspannen weiterhin erforderlich bleibt.
de
Financial due diligence requires answers that are accurate, traceable, and directly supported by source documents. However, identifying relevant evidence within long, structurally heterogeneous annual reports remains a manual and time-consuming task, while conventional generative question-answering systems risk producing unsupported or insufficiently auditable responses. This thesis investigates whether a multi-stage, verbatim-grounded retrieval-augmented generation (RAG) architecture can support due diligence questionnaire (DDQ) answering in the banking domain. Building on the VerbatimRAG framework, the proposed pipeline combines query rewriting, multi-query expansion, hybrid dense and sparse retrieval, cross-encoder reranking, and LLM-based verbatim span extraction. Extracted evidence is retained only if it can be verified against the underlying source text. As no annotated resource exists for AFME-style DDQ answering over annual reports, a further contribution of this thesis is a newly constructed evaluation dataset based on the 2024 annual reports of four Austrian banking institutions. The dataset comprises sixteen questions per institution together with manually annotated gold evidence spans. The Raiffeisen Bank International annotations were created jointly with a due diligence practitioner at the institution, whereas the annotations for the remaining three banks were produced by the author alone. The retrieval ablation study, conducted on the expert-supported Raiffeisen Bank International dataset, shows that the complete multi-stage configuration improves Hit Rate from 0.583 for the baseline to 1.000. Among the evaluated rerankers, BAAI/bge-reranker-v2-m3 achieves the strongest retrieval performance. For span extraction, google/gemini-3-flash-preview and openai/gpt-5.1 obtain the best results, both reaching a RapidFuzz@75 F1 score of 0.690. Abstention accuracy on unanswerable questions varies substantially across models, ranging from 1.000 for openai/gpt-5.1 to 0.200 for google/gemini-2.5-flash-lite. Cross-bank evaluation shows that the retrieval architecture generalizes well across institutions, achieving a Hit Rate of at least 0.909 for all four banks. Verbatim extraction remains more sensitive to institution-specific reporting styles and annotation characteristics, while abstention reliability varies substantially across both models and institutions.These findings suggest that the proposed architecture can support evidence localization within human-in-the-loop due diligence workflows while preserving source traceability. However, residual extraction errors and inconsistent abstention behavior indicate that the system is not yet suitable for autonomous decision-making and that human review of extracted evidence remains necessary.
en
Additional information:
Arbeit an der Bibliothek noch nicht eingelangt - Daten nicht geprüft