Risk sentiment analysis in banking supervision

Abstract

Im November 2014 übernahm die Europäische Zentralbank (EZB) im Rahmen des Single Supervisory Mechanism (SSM) die Aufsicht über die größten Banken der Eurozone. Risikobewertungen der Bankenaufsicht basieren üblicherweise auf quantitativen Daten sowie Umfragen. Textdaten als weitere Informationsquelle wurden bislang nur unzureichend genutzt. In der vorliegenden Arbeit werden diese Daten im Rahmen eines neuen Anwendungsgebietes der Sentimentanalyse genutzt. Es wird evaluiert, ob diese populäre Methode aus dem Forschungsgebiet Text Mining dafür geeignet ist, die Einstellungen und Meinungen von Banken gegenüber Risiken zu messen. Für die Realisierung der Studie wird ein Textkorpus mit über 500 Vorstandsbriefen und Prognosen aus den Jahresberichten zusammengestellt. Die Dokumente wurden von Banken der Eurozone zwischen den Jahren 2002 und 2014 veröffentlicht. Basierend auf diesen Dokumenten werden zwei voneinander unabhängige Experimente durchgeführt. Ersteres ermittelt Sentimentpunkte, welche die Grade der Unsicherheit, Negativität und Positivität in den Dokumenten messen. Die Ermittlung der Punktzahlen basiert auf einem finanzspezifischen Lexikon und Techniken zur Gewichtung von Worten. Ein weiteres Experiment verwendet Algorithmen des maschinellen Lernens für Risikoklassifizierungen. Die Ergebnisse werden sowohl qualitativ als auch per Vergleich mit Kernkapitalquoten evaluiert. Letztere fungieren als quantitatives Risikomaß im Bankenbereich. Die Evaluierungen ergeben vielversprechende Möglichkeiten, aber auch Limitationen für den Einsatz von Risiko-Sentimentanalyse in der Bankenaufsicht. Auf der Ebene von individuellen Banken kann nur ungenau vorhergesagt werden, ob der quantitative Risikoindikator im folgenden Jahr steigen oder fallen wird. Im Gegensatz dazu zeigen die Auswertungen der aggregierten Zahlen starke und signifikante Korrelationen zwischen Unsicherheit oder auch Negativität in Textdaten und der Entwicklung der Kernkapitalquote. Risiko-Sentimentanalyse sollte daher eher für makroprudentielle Analysen als für Risikobewertungen einzelner Banken genutzt werden. Darüber hinaus spiegeln die aggregierten Sentimentpunkte wichtige wirtschaftliche Ereignisse im Zeitraum zwischen 2002 und 2014 deutlich wider. Dies ermöglicht die Erstellung von Risiko-Sentimentindikatoren.

In November 2014, the European Central Bank (ECB) started to directly supervise the largest banks in the Eurozone via the Single Supervisory Mechanism (SSM). Supervisory risk assessments are primarily based on quantitative data and surveys, but textual disclosures as another source of information have remained largely untapped so far. This work utilizes these data by exploring a novel application of sentiment analysis. It evaluates whether this popular approach in the field of text mining is capable of measuring a bank-s attitude and opinions towards risk. For realizing this study, a text corpus consisting of more than 500 CEO letters and outlook sections extracted from annual reports is built up. The documents were published by banks in the Eurozone and cover the period from 2002 to 2014. Based on these documents, two distinct experiments are conducted. The first one derives sentiment scores for measuring the degrees of uncertainty, negativity, and positivity in the documents. The scores are determined based on a finance-specific lexicon and term weighting techniques. Another experiment employs machine learning algorithms for risk classification. The results are evaluated both in a qualitative way and by comparison with Tier 1 capital ratios, which are quantitative risk indicators in the financial industry. The evaluations find promising opportunities, but also limitations for risk sentiment analysis in banking supervision. At the level of individual banks, it can only inaccurately predict whether the quantitative risk indicator will rise or fall within the following year. In contrast, the analysis of aggregated figures revealed strong and significant correlations between uncertainty or negativity in textual disclosures and the Tier 1 capital ratio-s future evolution. Risk sentiment analysis should therefore rather be used for macroprudential analyses than for risk assessments of individual banks. Furthermore, the aggregated sentiment scores clearly reflect major economic events between 2002 and 2014, for example the financial crisis. This facilitates the creation of risk sentiment indicators.