Towards Fair AI Systems: Identification and Mitigation of Discrimiation in the Financial Service Sector

Abstract

Diese Arbeit untersucht geschlechts- und nationalitätsbasierte Diskriminierung in einem Machine-Learning-Modell einer österreichischen Versicherungsgesellschaft. Ziel des Modells ist die Identifikation von Schadensfällen mit signifikanten Kostensteigerungen von Entschädigungsansprüchen. Angesichts der Vorgaben des EU AI Act’s und österreichischer Rechtsbestimmungen für diskriminierungsfreie algorithmische Systeme gewinnt die Sicherstellung fairer Modelle zunehmend an Bedeutung. Diese Arbeit prüft, ob ein von der Versicherung eingesetztes Light Gradient Boosting Machine (LightGBM)-Modell diskriminierende Eigenschaften aufweist und erforscht Ansätze zur Bias-Reduzierung. Nach einer umfassenden Literaturanalyse des aktuellen Forschungsstands zu algorithmischer Fairness wurde ein Datensatz mit 450.000 Versicherungsschäden ausgewertet. Das methodische Vorgehen umfasste eine Fairness-Analyse des LightGBM-Modells, die qualitative Bewertung geeigneter Fairness-Metriken für den vorliegenden Anwendungsfall, sowie die Implementierung verschiedener Bias-Minderungsverfahren, darunter In-Processing-Techniken (FairGBM) und Post-Processing-Methoden (Reject Option Classification von AIF360, Threshold Optimizer von Fairlearn sowie Equalized-Odds Post-Processing von AIF360). Zuletzt wurde ein quantitativer Vergleich zwischen dem LightGBM-Modell und den Bias-Minderungsverfahren durchgeführt, basierend auf Fairness-Metriken und den Auswirkungen auf die Leistung des Vorhersagemodells.Die Analyse des Baseline Modells deckte erhebliche Benachteiligungen weiblicher gegenüber männlichen Versicherungsnehmenden sowie nicht-österreichischer gegenüber österreichischen Versicherungsnehmenden auf. Darüber hinaus zeigte das Modell eine verminderte Leistung für Schadensfälle ohne eindeutige Geschlechts- oder Nationalitätszuordnung. Während die eingesetzten Bias-Minderungsverfahren die Fairness-Metriken erfolgreich verbesserten, gingen diese Verbesserungen erheblich zu Lasten der Vorhersageleistung des Machine-Learning-Modells. Die Untersuchung verdeutlicht die Notwendigkeit systematischer Diskriminierungsprüfungen bei Machine-Learning-Modellen, insbesondere in kritischen Anwendungsbereichen wie dem Versicherungswesen. Obwohl Fairness-Optimierungstechniken diskriminierende Strukturen mathematisch addressieren können, erweisen sich die erheblichen Beeinträchtigungen bei der Vorhersageleistung als hinderlich für den produktiven Einsatz. Dies unterstreicht die fortbestehende Herausforderung, algorithmische Fairness mit betriebswirtschaftlichen Anforderungen in Einklang zu bringen.

This thesis investigates potential gender and nationality-based discrimination in a real-world insurance machine learning model designed to identify claims likely to “explode” in compensation costs. With the EU AI Act and Austrian legal frameworks requiring non-discriminatory algorithmic systems, ensuring fairness in insurance claim prediction models has become critically important. The research examines whether a Light Gradient Boosting Machine (LightGBM) model used by an Austrian insurance company exhibits discriminatory behavior and explores methods to mitigate such bias.Following a comprehensive literature review on algorithmic fairness state-of-the-art, this study analyzed a dataset of 450,000 insurance claims provided by an Austrian insurance company. Claims were classified as “explosive” if they required reserve increases exceeding €100,000 or if reserve amounts grew by a factor of ten or more within one month of initial reporting. The methodology included baseline fairness analysis of the current model, qualitative assessment of appropriate fairness metrics for this use case, implementationof various mitigation methods including in-processing (FairGBM) and post-processing techniques (reject option classification by AIF360, threshold optimizer by Fairlearn, and equalized odds post-processing by AIF360), and quantitative comparison of fairness improvements against predictive performance impacts.The baseline analysis revealed significant discrimination against female claimants compared to male claimants and non-Austrian claimants compared to Austrian claimants. Additionally, claims with unknown gender or nationality group membership showed degraded prediction quality. While mitigation methods successfully improved fairness metrics, these improvements came at a severe cost to predictive performance.This research demonstrates the critical importance of evaluating machine learning models for potential discrimination, particularly in high-stakes applications like insurance. Although fairness mitigation techniques can mathematically address discriminatory patterns, the substantial trade-off with predictive performance renders them impractical for real-world deployment in this case study, highlighting the ongoing challenge of balancing algorithmic fairness with business utility.