On the validation of credit rating systems

Abstract

Die Bewertung der Kreditwürdigkeit von Schuldnern ist von großer Bedeutung für Finanzinstitute. Das Ergebnis einer solchen Analyse wird als Kreditrating bezeichnet und für die Bepreisung von Krediten sowie die Allokation von ökonomischem und regulatorischem Kapital eingesetzt.<br />Die vielfältigen Anwendungen von Ratings führen zu einer intensive Forschung im Bereich der Entwicklung und Validierung von Ratingsystemen.<br />Statistisch kann ein Rating als ein Schätzer für die Ausfallswahrscheinlichkeit interpretiert werden. Die Überprüfung der Genauigkeit dieser Schätzer mittels historischer Daten ist ein integraler Bestandteil der Validierung eines Ratingsystems. Mittels statistischer Tests werden die ex-ante geschätzten Ausfallswahrscheinlichkeiten mit der Anzahl der realisierten Ausfallsereignissen unter der Nullhypothese korrekter Schätzer verglichen. Derzeit verwendete Methoden berücksichtigen dabei nicht die Diskretheit der gemeinsamen Wahrscheinlichkeitsverteilung. Weiters erlauben sie keine konsistente Verwendung der spezifizierten Abhängigkeitsstruktur in der Kalibrierung, Anwendung und Validierung. Vor diesem Hintergrund wird ein statistisches Rahmenwerk zur Validierung von Ratingsystemen bei beliebiger Abhängigkeitsstruktur vorgestellt. Derzeit verwendete Verfahren werden umfassend beschrieben und in mehrere Richtungen erweitert. Unter der Annahme unabhängiger Ausfälle werden hybride Testverfahren entwickelt, welche den exakten multivariaten Sterne Test mit approximativen Tests effizient kombinieren. Für beliebige Abhängigkeitsstrukturen werden Tests basierend auf der quadrierten Mahalanobis Distanz und dem multivariaten Sterne Test vorgeschlagen.<br />%Diese neuen Verfahren ermöglichen eine genauere Analyse bei gegebener Abhängigkeitsstruktur als derzeit verwendete Methoden. Durch die Anwendung von Verfahren für mehrfaches Testen in der Validierung von Ratingsystem wird erstmalig die effiziente Überprüfung der Kalibrierungsgüte einzelner Ratingklassen bei beliebiger Abhängigkeitsstruktur ermöglicht. Abschließend werden kombinierte Tests entwickelt, um die Vorteile von gemeinsamen Tests und Verfahren für mehrfaches Testen zu nützen. Für alle neu entwickelten Kalibrierungstest werden recheneffiziente Algorithmen vorgestellt.<br />Um die Vorzüge der neuen Verfahren zu demonstrieren, werden umfassende Szenarioanalysen auf von Moody's gerateten Portfolios durchgeführt.<br />Dabei zeigen die neu entwickelten Tests überlegene Ergebnisse im Vergleich zu derzeit verwendeten Methoden.<br />

Measuring the creditworthiness of obligors is of preeminent importance to financial institutions. Typically such an assessment is referred to as credit rating and is employed in the pricing of credit risk bearing instruments as well as for the allocation of economic and regulatory capital. The numerous applications of ratings foster research in the field of rating system development and validation. In statistical terms a rating may be understood as a probability of default estimate.<br />Assessing the accuracy of probability of default estimates by means of backtesting is an integral part in the validation of credit rating systems. To this end, statistical tests are used to compare the ex-ante estimated probability of default forecasts with the ex-post realized number of defaults per risk class under the null hypothesis that the forecasts are correct.<br />Currently employed methods do not take into account the discreteness of the joint probability distribution. Furthermore, they lack the ability to consistently apply an assumed dependence structure in the calibration, application and validation. Against this background a general statistical framework for validating credit rating systems under any specified dependence structure is described. A comprehensive review of existing tests is provided and the procedures are extended in several directions. In the class of independent defaults, enhanced hybrid testing procedures are developed which efficiently combine the exact multivariate Sterne test with approximate tests.<br />Assuming an arbitrary dependence structure, novel tests based on the squared Mahalanobis distance and the multivariate Sterne test are proposed. Both new methods allow for a more accurate analysis of rating systems under the specified dependence structure than existing procedures.<br />Applying multiple comparisons testing to the problem of validating rating systems, the calibration quality of the individual risk classes can be assessed efficiently under any specified dependence structure for the first time. Finally combined tests are derived which exploit the advantages of multiple comparisons testing and joint tests.<br />For all newly developed calibration tests computationally efficient algorithms are proposed. To demonstrate the merits of the new procedures, comprehensive scenario analyses are carried out.<br />Based on portfolios rated by Moody's the superior performance of the novel approaches is demonstrated.<br />