Context-specific consideration of credit risk model validation

Abstract

Die jüngste Kredit- und Liquiditätskrise mit ihrem Ursprung 2007/2008 stellt die Modell-basierte Risikoschätzung infrage. Als Reaktion darauf, propagieren wir eine abstrahierte Sicht auf die Risikomodellierung mit iterativer Validierung in ihrem Kern. Basierend auf einem vorliegenden Validierungs-Kontext werden prospektive (engl.<br />Benchmarking) und retrospektive (engl. Backtesting) Ansätze behandelt.<br />Wir etablieren Risikomodellierung, bestehend aus Konstruktion, Kalibrierung und Validierung, in Form eines dynamischen Modell-Controlling Prozesses, kurz CCVControl.<br />Der retrospektive Ansatz wird anhand der Validierung von Kreditrisiko- Ratingmodellen für ein großes Portfolio deutscher Klein-und-Mittelunternehmen demonstriert. Wir thematisieren die Problematik der Nicht-Repräsentativität von Ratingmodellen für Sub-Portfolios bedingt durch die Heterogenität verwendeter Bilanzkennzahlen. Zur Quantifizierung dieser Heterogenität wird eine Maßzahl (engl. Heterogeneity Score) eingeführt. Diese erlaubt die Messung von Heterogenitätseffekten zwischen Sub-Portfolios, für ein Sub-Portfolio relativ zu allen anderen, sowie aggregiert über alle Partitionierungen des Portfolios. Verschiedene Methoden zur Re-Konstruktion und Re-Kalibrierung nichtrepräsentativer Ratingmodelle werden vorgestellt und in einer Simulationsstudie miteinander verglichen. Schließlich analysieren wir verschiedene Stufen der Sub-Portfolio Abstrahierung, um adäquate Portfolios für die Modellierung abzuleiten. Der prospektive Ansatz wird bei der Validerung von regulatorischen Kreditrisiko-Portfoliomodellen angewandt. Wir messen das Risikopotenzial (engl. Total Loss) eines kleinen Portfolios bestehend aus großen europäischen Unternehmen mit hoher Kreditqualität mittels regulatorischer Modelle von Basel II und interner Portfolio-Modelle.<br />Abweichungen in den Risiko- Schätzungen der Modelle werden mit einem einfachen Index (engl. Total Loss Index ) basierend auf Portfolio- Szenarien veränderter Kreditqualität, wachsender Portfolio-Granularität und variierender Tranchen-Größe (bei strukturierten Portfolios) beurteilt. Assoziation der Sensitivität von Risiko-Schätzungen wird mittels eines Rangkorrelationsmaßes bestimmt. Für unser Portfolio beobachten wir grundsätzlich eine steile Risikofunktion regulatorischer Modelle (konservative Risiko-Schätzung). Jedoch unterschätzen regulatorische Modelle das Kreditrisiko gegenüber den meisten Benchmark-Modellen und Szenarien.<br />

The recent credit and liquidity crisis with its origination in 2007/2008 challenges model-based risk estimation. In response, we propose an abstracted view on risk model building with iterative validation at its core. Based on a prevailing validation context, prospective (Benchmarking) and retrospective (Backtesting) validation approaches are considered. We institutionalize risk model building comprised of construction, calibration, and validation as dynamic model control process, termed CCV-Control. Backtesting is demonstrated in validating credit risk rating models for a large portfolio of German small-or-medium sized enterprises. We thematize the problem of non-representativeness of rating models for distinct sub-portfolios in the context of financial ratio heterogeneity. We introduce a Heterogeneity Score to measure heterogeneity between sub-portfolios, for one sub-portfolio relative to others, and for one ratio over all sub-portfolios. Several re-construction and recalibration methods to control for ratio heterogeneity are proposed. They are compared among each other in a simulation study. We analyze different levels of sub-portfolio abstraction to derive adequate portfolio compositions in controlling for heterogeneity effects. Benchmarking is applied in validating regulatory portfolio models of credit risk. We measure total loss of a small portfolio of large European corporates of high credit quality utilizing both regulatory models of Basel II and economic capital models. Bias is assessed via a simple Total Loss Index based on portfolio scenarios of changing credit quality, increasing portfolio granularity, and varying tranche size in the context of structured portfolios. Association of total loss sensitivity is assessed via a rank correlation measure. For our portfolio, we find that regulatory models exhibit a steep risk function (risk conservatism). However, regulatory total loss estimates are downward biased against the majority of benchmark models and scenarios.