An Inquiry into the Nature of Predictive Model Classes and the Forecasting of Corporate Insolvency

Abstract

Die verlässliche Prognose von Unternehmensausfällen ist sowohl im Rahmen des Risikomanagements als auch zur Erfüllung regulatorischer Anforderungen, etwa jener der Basel-Akkorde, für Kreditinstitute und Aufsichtsbehörden von zentraler Bedeutung. Während moderne Machine-Learning-Modelle traditionelle statistische Ansätze hinsichtlich der Vorhersagegenauigkeit zunehmend übertreffen, werden in komparativen Analysen die ebenso wichtigen Dimensionen der Erklärbarkeit und der Kalibrierung von Ausfallwahrscheinlichkeiten häufig nur unzureichend berücksichtigt. Die vorliegende Arbeit befasst sich daher mit einem systematischen Vergleich von logistischer Regression, Random Forest, Gradient Boosting (XGBoost) und Feed-Forward-Neural-Networks zur Schätzung der Ausfallwahrscheinlichkeit österreichischer nichtfinanzieller Unternehmen. Grundlage der Analyse ist ein Datensatz aus Jahresabschlüssen und Unternehmenseigenschaften der Oesterreichischen Nationalbank. Alle Modellklassen werden entlang der drei zentralen Dimensionen Trennschärfe, Erklärbarkeit und Kalibrierungsqualität beurteilt. Neben dem etablierten Trennschärfemaß ROC-AUC kommt ein Probability-Integral-Transform-(PIT-)Ansatz zur Anwendung. Dieser Ansatz ermöglicht einen detaillierten Einblick in das Rankingverhalten der Modelle und wird zusätzlich im Rahmen der Erklärbarkeitsanalyse genutzt, indem Methoden wie Leave-One-Feature-Out-Feature-Importance, Partial-Dependence-Plots (PDPs) und SHAP-Werte adaptiert werden. Die Kalibrierungsqualität wird mittels Reliability-Diagrammen und Brier-Score bewertet. Zur Verbesserung der Kalibrierung der Ausfallwahrscheinlichkeiten werden sowohl binning-basierte als auch Beta-Kalibrierungsverfahren eingesetzt. Die resultierenden Trennschärfemaße implizieren eine zufriedenstellende Prognosekraft der verwendeten Jahresabschlusskennzahlen und Unternehmenseigenschaften. Moderne Machine-Learning-Modelle erzielen eine höhere Trennschärfe als die traditionelle logistische Regression, wobei das XGBoost-Modell die besten Resultate aufweist. Trotz der höheren Komplexität dieser Modelle lässt sich die Interpretierbarkeit durch die eingesetzten Erklärbarkeitsmethoden deutlich verbessern, wobei sich modellklassenübergreifend konsistente Muster in der Relevanz der Variablen zeigen. Hinsichtlich der Kalibrierung liefern die logistische Regression und der Random Forest bereits unkalibriert gut abgestimmte Ausfallwahrscheinlichkeiten, während XGBoost und das neuronale Netz spürbar von den Kalibrierungsverfahren profitieren. Sowohl die binning-basierte als auch die Beta-Kalibrierung verbessern die Übereinstimmung zwischen geschätzten und beobachteten Ausfallraten, wobei die Beta-Kalibrierung für die komplexeren Modellklassen die niedrigsten Brier-Werte erzielt.

The reliable prediction of corporate default is essential for financial institutions and regulatory authorities, both for risk management purposes and for meeting regulatory requirements such as those defined in the Basel Accords. While modern machine learning approaches increasingly outperform traditional statistical models in terms of predictive accuracy, comparative studies often overlook the equally important dimensions of model interpretability and probability calibration. This thesis addresses this gap by conducting a comparison of logistic regression, random forest, gradient boosting (XGBoost), and feed-forward neural networks for estimating probabilities of default (PD) of Austrian non-financial corporations. Using a large-scale dataset of financial statements and firm characteristics provided by the Oesterreichische Nationalbank, all model classes are evaluated jointly across the three central dimensions of discriminatory power, explainability, and calibration quality. In addition to the established ROC–AUC metric, a Probability Integral Transform (PIT) framework is used to analyse the ranking behaviour of the models. This framework is further extended to the explainability analysis by adapting tools such as leave-one-feature-out (LOFO) feature importance, partial dependence plots (PDPs), and SHAP values. Calibration quality is assessed using reliability diagrams and the Brier score, and post-processing is applied through a binning-based and beta calibration. The baseline logistic regression demonstrates that key figures based on financial statements and firm characteristic indicators contain substantial predictive information. Modern machine learning methods significantly enhance discriminatory performance, with XGBoost outperforming all other model classes. Despite the higher complexity of modern model classes, interpretability can be improved through the applied explainability tools, which reveal consistent patterns in feature relevance and impact. Regarding calibration, logistic regression and random forest provide well-aligned PD estimates in their uncalibrated form, whereas XGBoost and the neural network architecture benefit substantially from post-processing. Both binning- and beta-based calibration lead to improvements in probability alignment, with beta calibration achieving the lowest Brier scores for all complex model classes.