Explainable RL agents for conflict resolution in air traffic control

Abstract

Air Traffic Control (ATC) ensures safe and efficient aircraft movement, but growing demand and staff shortages are increasing workload. Reinforcement Learning shows promise for continuous control tasks in ATC, yet remains a black-box. For safety-critical domains, these black-boxes must be trustworthy and explainable to meet current and future certification requirements. Despite advances in Explainable Artificial Intelligence (XAI), the challenge of developing unified Explainable Reinforcement Learning (XRL) systems for ATC remains largely unresolved. This thesis addresses this gap by (i) investigating state-of-the-art explainability methods in ATC, (ii) applying post-hoc XAI methods to reinforcement learning tasks, (iii) integrating state-of-the-art research from the social sciences and psychology into XAI visualisations, and (iv) validating the XAI methods and visualisations through an expert user study. To ensure a rigorous and structured investigation, this research follows the Design Science Research (DSR) methodology.In detail, the thesis implements and evaluates three explainability methods in the BlueSky-Gym framework: (i) SHAP-based Saliency Maps identifying which aircraft most heavily influence agent decisions, (ii) Action Heatmaps visualising policy decision boundaries across the state space, and (iii) Mixture-of-Experts agents with symbolic gating showing whether the agent prioritises control or evasion at any given time. Beyond post-hoc and intrinsic explainability, a more operationally realistic environment combines waypoint navigation, restricted airspace, and multi-objective constraints introduced as a foundation to enable testing scenarios closer to real-world complexity.A user study with 26 participants from industry and science systematically evaluated these methods across three dimensions: how well explanations support user understanding, how they affect trust in agent decisions, and user satisfaction. Results demonstrate a 19-61% better understanding depending on the task, a 0.22 trust increase and a positive satisfaction between 0.44 and 0.63 across all participants (5 Point Likert Scale). This thesis contributes explainability findings and practical implementations for RL in safety-critical ATC, providing researchers with techniques to interpret agents in BlueSky-Gym and contributing to the interpretability requirements needed for human-AI teaming.

Die Flugverkehrskontrolle ist entscheidend für sichere und effiziente Flugbewegungen, doch wachsende Nachfrage und Personalengpässe erhöhen die Arbeitsbelastung zunehmend. Obwohl Reinforcement Learning für solche komplexen Steuerungsaufgaben vielversprechend ist, agiert es meist als intransparente black-box. In sicherheitskritischen Bereichen sind Transparenz und Nachvollziehbarkeit jedoch unerlässlich. Bislang fehlen hierfür Lösungen in der Flugverkehrskontrolle.Diese Arbeit schließt diese Lücke, indem sie (i) den aktuellen Stand der Technik von Erklärbarkeitsmethoden in der Domäne untersucht, (ii) Post-hoc-XAI-Methoden auf Reinforcement-Learning-Aufgaben anwendet, (iii) aktuelle Forschungserkenntnisse aus den Sozialwissenschaften und der Psychologie in XAI-Visualisierungen integriert und (iv) die XAI-Methoden sowie deren Visualisierungen im Rahmen einer Studie mit Fachpersonen validiert. Um eine fundierte und strukturierte Untersuchung zu gewährleisten, folgt diese Arbeit der Design Science Research (DSR)-Methodik.Dafür wurden drei Erklärbarkeitsmethoden im BlueSky-Gym-Framework implementiert. Erstens zeigen SHAP-basierte Saliency Maps, welche Flugzeuge die Entscheidungen des Agenten beeinflussen. Zweitens visualisieren Action Heatmaps die Entscheidungsgrenzen. Drittens erklären Mixture-of-Experts-Agenten durch nachvollziehbare Regeln deutlich, ob der Agent gerade die Routenkontrolle oder ein Ausweichmanöver priorisiert. Zudem wurde eine realitätsnähere Simulationsumgebung entwickelt, die Wegpunkt-Navigation, Luftraumeinschränkungen und mehrere gleichzeitige Optimierungsziele integriert und als Grundlage für zukünftige Tests unter realistischeren ATC-Bedingungen dienen soll.Eine Evaluierungsstudie mit 26 Teilnehmenden aus Industrie und Wissenschaft untersucht diese Methoden systematisch anhand drei Dimensionen: wie gut Erklärungen das Verständnis der Testpersonen unterstützen, wie sie das Vertrauen in Agent-Entscheidungen beeinflussen, und die allgemeine Zufriedenheit. Die Ergebnisse zeigen 19-61% besseres Verständnis je nach Aufgabe, einen Vertrauensanstieg von 0,22 und eine positive Zufriedenheit zwischen 0,44 und 0,63 über alle Teilnehmenden hinweg (5-Punkte-Likert-Skala). Damit liefert diese Arbeit praktische Techniken zur Erklärbarkeit von RL in sicherheitskritischen Systemen und fördert die Grundlagen für eine erfolgreiche Zusammenarbeit zwischen Mensch und KI.