Fairness in Public Screening Models for Hiring Tasks: Benchmarking and Stress Testing under Distribution Shifts

Abstract

Automatisierte Systeme zur Lebenslaufauswertung werden zunehmend in Einstellungsprozessen eingesetzt, dennoch ist ihr Diskriminierungspotenzial gegenüber Bewerbenden auf Basis sensibler demografischer Merkmale bislang unzureichend untersucht. Da der EU AI Act automatisierte Einstellungstools als Hochrisikoanwendungen einstuft, sind systematische Fairness-Evaluierungen zu einer regulatorischen Notwendigkeit geworden. Diese Arbeit präsentiert eine kontrollierte empirische Studie zur gruppenbasierten Fairness in automatisierten CV-Screening-Systemen. Drei Modelle (XGBoost, BERT und JobBERT) werden auf dem synthetischen FINDHR-Datensatz mit 1.730 Kandidatenprofilen evaluiert. Die Ground-Truth-Labels werden durch ein transparentes, regelbasiertes Qualifikations-Scoring-Verfahren konstruiert, das sensitive Attribute ausschließt und so modellinduzierte Verzerrung isolierbar macht. Vier Bias Minderungsvarianten werden angewendet (Sample Reweighing, Label Massaging sowie Post-Processing Schwellenwertanpassung optimiert für zwei Fairness-Ziele) und die Stabilität von Fairness-Ergebnissen unter kontrollierten Verteilungsverschiebungen analysiert. Die Baseline-Analyse zeigt, dass alle drei Modelle Frauen konsistent benachteiligen, obwohl die Labels fair konstruiert wurden. Die Equal Opportunity Differences reichen von -0,273 bis -0,455 und sind auf Sektor-Geschlecht-Korrelationen zurückzuführen. Sample Reweighing erweist sich für XGBoost als wirkungslos und verschlechtert die Fairness bei JobBERT aktiv, während für BERT eine moderate Verbesserung erzielt wird, da die Verzerrung repräsentationaler und nicht distributionaler Natur ist. Label Massaging erzielt die stärksten Verbesserungen und reduziert die geschlechtsbezogene Equal Opportunity Gap bei XGBoost um bis zu 77%, während Post-Processing Schwellenwertanpassung bei geringeren Leistungskosten konkurrenzfähige Ergebnisse liefert. Die Wirksamkeit der Mitigationsmaßnahmen erweist sich als modell- und zielabhängig. Experimente zur Verteilungsverschiebung zeigen, dass Fairness-Metriken sensitiv gegenüber demografischen Zusammensetzungsänderungen sind, während die Vorhersageleistung stabil bleibt. Die Ergebnisse leisten einen empirischen Beitrag zum Verständnis von Diskriminierungsrisiken in automatisierten Einstellungsprozessen und zeigen, dass bedeutsame Fairness-Verbesserungen ohne wesentliche Verschlechterung der Screening-Qualität erreichbar sind.

Automated resume screening systems are increasingly deployed in hiring pipelines, yet their potential to discriminate against candidates based on sensitive demographic attributes remains insufficiently understood. With the EU AI Act classifying automated hiring tools as high-risk applications, systematic fairness evaluations have become a regulatory necessity. This thesis presents a controlled empirical study of group-level fairness in automated CV screening, evaluating three models (XGBoost, BERT, and JobBERT) on the FINDHR synthetic CV dataset containing 1,730 candidate profiles annotated with sensitive demographic attributes. Ground truth labels are constructed through a transparent, rule-based qualification scoring procedure that excludes sensitive attributes, enabling isolation of model-induced bias. Four bias mitigation variants are applied (sample reweighing, label massaging, and post-processing threshold adjustment optimized for two fairness objectives) and the stability of fairness outcomes under controlled distribution shifts is analyzed. The baseline analysis reveals that all three models consistently disadvantage women despite fair label construction, with equal opportunity differences ranging from -0.273 to -0.455, attributable to sector-gender correlations rather than label bias. Sample reweighing proves ineffective for XGBoost and actively harmful for JobBERT, while yielding only a modest improvement for BERT, as the bias is representational rather than distributional. Label massaging achieves the strongest fairness improvements, reducing the gender Equal Opportunity gap by up to 77% for XGBoost, while post-processing threshold adjustment offers competitive results at lower performance cost. Mitigation effectiveness is found to be both model- and objective-dependent. Distribution shift experiments demonstrate that fairness metrics are sensitive to changes in demographic composition while predictive performance remains stable. The findings contribute empirical evidence on discrimination risks in automated hiring pipelines and demonstrate that meaningful fairness improvements are achievable without substantial degradation of screening utility.