Reinforcement Learning and Evaluation for Renal Replacement Therapy

Abstract

Akutes Nierenversagen (Acute Kidney Injury, AKI) ist eine schwerwiegende Erkrankung, die bis zu 50% der Patienten auf der Intensivstation betrifft und häufig eine Nierenersatztherapie(RRT) erfordert, um lebensbedrohliche Komplikationen zu verhindern. Trotz klinischer Leitlinien bleibt die Entscheidungsfindung zur RRT hochvariabel, da sie stark auf der Intuition und Erfahrung der Ärzte basiert. Diese Variabilität kann zu suboptimalen Behandlungszeitpunkten, erhöhter Morbidität und ineffizienter Ressourcennutzung führen. Diese Arbeit untersucht die Anwendung von Reinforcement Learning (RL) zur Optimierung der RRT-Entscheidungsfindung in der Intensivmedizin. Dabei werden Patientendatenaus der MIMIC-IV-Datenbank genutzt, um verschiedene RL-Modelle zu entwickeln und zu evaluieren. Deep Q-Networks (DQN), Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C) und Distributional RL (C51) werden hinsichtlich ihrer Effektivität in der klinischen Entscheidungsfindung verglichen. Die Modelle wurden anhand ihrer Übereinstimmung mit den klinischen Entscheidungen sowie unter Berücksichtigung von Präzision, Recall, F1-Score, Trainingseffizienz und Interpretierbarkeit bewertet. Jedes der untersuchten Algorithmen zeigte dabei spezifische Eigenschaften, die unterschiedliche Abwägungen zwischen Exploration, Interventionsstrategien und der Modellierung von Unsicherheiten widerspiegeln. Anstatt einen einzelnen Ansatz hervorzuheben, unterstreicht die Evaluation die Vielfalt der Methoden des Reinforcement Learning im Umgang mit der Komplexität der Entscheidungsfindung bei RRT. Die SHAP-Analyse bestätigte, dass Kreatinin, Blut-Harnstoff-Stickstoff (BUN), der SOFA Score und die Flüssigkeitsbilanz die wichtigsten Faktoren für die RL-Entscheidungsfindung sind, was mit klinischen Best Practices übereinstimmt. Diese Arbeit liefert eine neue Benchmark für RL-gestützte RRT-Entscheidungssysteme und hebt sowohl die Vorteile als auch die Einschränkungen hervor. Zukünftige Forschungen sollten sich darauf konzentrieren, die klinische Ausrichtung der Modelle zu verbessern, die Erklärbarkeit zu erhöhen und eine Echtzeit-Integration mit klinischem Feedback zu ermöglichen. Die Erkenntnisse tragen zur Entwicklung und zum Überbrücken der Lücke zwischen datengesteuerter Intelligenz und menschlicher Expertise in der Intensivpflege bei.Code Reference: https://github.com/MimiSadikovikj/Master-Thesis-RL-RRT

Acute Kidney Injury (AKI) is a critical condition affecting up to 50% of ICU patients, often requiring Renal Replacement Therapy (RRT) to prevent life-threatening complications.Despite existing clinical guidelines, RRT decision-making remains highly variable, relying heavily on clinician intuition and experience. This inconsistency can lead to suboptimal treatment timing, increased patient morbidity, and resource inefficiency. This research explores the application of Reinforcement Learning (RL) for optimizing RRT decisions in ICU settings, leveraging MIMIC-IV patient data to develop and evaluate RL models. The study investigates Deep Q-Networks (DQN), Proximal Policy Optimization(PPO), Advantage Actor-Critic (A2C), and Distributional RL (C51) to determine their effectiveness in clinical decision-making. The models were assessed based on agreement with clinician decisions, precision, recall,F1-score, training efficiency, and interpretability. Each algorithm exhibited distinct characteristics, reflecting different trade-offs between exploration, intervention strategies, and uncertainty modeling. Rather than favoring one approach, the evaluation highlights the diversity of reinforcement learning methods in addressing the complexity of RRT decision-making. SHAP analysis confirmed that Creatinine, Blood Urea Nitrogen (BUN), SOFA score, and fluid balance were the most influential factors in RL decision-making, aligning with clinical best practices. This study provides a novel benchmark for RL-driven RRT decision support, highlighting key advantages and limitations. Future research should focus on improving model alignment with clinical decision-making, enhancing explainability, and integrating real-time clinician feedback for adaptive learning. The findings contribute to the development and to bridging the gap between data-driven intelligence and human expertise in critical care. Code Reference: https://github.com/MimiSadikovikj/Master-Thesis-RL-RRT