Machine Learning in Intensive Care Medicine

Abstract

Diese Dissertation untersucht fortschrittliche Ansätze der künstlichen Intelligenz zur Verbesserung der klinischen Entscheidungsfindung in der Intensivmedizin anhand dreier komplementärer Studien. In der ersten Publikation wurde ein Reinforcement-Learning-(RL)-Algorithmus entwickelt, um die Kortikosteroidtherapie bei septischen Patienten zu optimieren. Anhand von Daten aus 3.051 Intensivstationsaufenthalten im AmsterdamUMCdb wurden Patienten gemäßder Konsensdefinition von 2016 identifiziert. Ein auf einem Actor-Critic-Framework basierendes RL-Modell, das die Intensivstationsmortalität als Belohnungssignal nutzte, wurde mit zeitlichaufbereiteten Daten zu 277 klinischen Parametern trainiert. Off-Policy-Evaluierungen zeigten, dass die Behandlungspolitik des RL-Agenten – die durch eine restriktivere Kortikosteroidverordnung gekennzeichnet war (in 62 % der Patientenzustände ein Zurückhalten versus 52 % in der klinischen Praxis) – einen höheren erwarteten Reward und eine damit verbundende geringere Intensivstationsmortalität in der Evaluierung in einem Test-Datenset erzielte. In der zweiten Studie wurde RL angewendet, um die individualisierte Entscheidungsunterstützung für die Nierenersatztherapie (RRT) bei kritisch kranken Patient:innen mit akutem Nierenversagen (AKI) zu verbessern. Hierzu wurden Daten aus der öffentlich zugänglichen MIMIC-IV-Datenbank sowie einem externen Datensatz der Medizinischen Universität Wien (MUW) verwendet, wobei Patient:innen mit AKI ab Stadium I einbezogen und solche mit chronischer Nierenerkrankung oder vorangegangener Nierentransplantation ausgeschlossen wurden.Durch die Extraktion von 88 medizinischer Parametern und den Einsatz eines gewichteten KMeans-Clustering-Ansatzes zur Definition des Patientenzustands wurde ein Q-Learning-basierter RL-Ansatz entwickelt. Das Modell erreichte in beiden Kohorten eine Übereinstimmung mit den klinischen Entscheidungen von bis zu 98% und übertraf diese in beiden Evaluationsmethoden. Besonders hervorzuheben ist, dass das Modell eine Patientengruppe mit höherer Erkrankungsschwere identifizierte, die von einer früheren oder intensiveren RRT profitieren könnte, was das Potenzial einer KI-gestützten Entscheidungsunterstützung zur Verbesserung der Ergebnisse unterstreicht. Die dritte Publikation dieser Dissertation befasst sich mit der Vorhersage intraoperativen Hypotonie. Hierzu wurde ein Temporal Fusion Transformer (TFT)-Modell eingesetzt, um die arterielle Blutdruckentwicklung während der Operation bis zu 7 Minuten im Voraus anhand von niedrig aufgelösten Daten (alle 15 Sekunden) von 73.009 Patient:innen, die sich einer Allgemeinanästhesie bei nicht-kardiothorakalen Eingriffen unterzogen, zu prognostizieren. Das TFT-Modell erreichte einen mittleren absoluten Fehler von ca. 4 mmHg im internen Test und 7 mmHg im externen Test. Zudem ermöglichte die binäre Vorhersage einer Hypotonie (mittlerer arterieller Druck unter 65 mmHg) eine hervorragende Diskriminierung mit AUROC-Werten von 0,933 im internen und 0,919 im externen Testdatensatz. Insgesamt zeigen diese Studien, dass fortschrittliche KI-Techniken – insbesondere RL und transformerbasierte Modelle – Verbesserungen in der personalisierten und präzisen Gestaltung intensivmedizinischer Therapien bewirken könnten. Die Integration robuster Datenvorverarbeitung, dynamischer Zustandsraumrepräsentationen und Off-Policy-Evaluationsmethoden bildet die Basis für die Generalisierbarkeit dieser Modelle. Letztlich legt diese Arbeit den Grundstein für zukünftige klinische Studien und ebnet den Weg zu KI-gestützten, individualisierten Behandlungsstrategien, die das Potenzial haben, die Patientensicherheit in unterschiedlichen intensivmedizinischen Settings nachhaltig zu verbessern.

This dissertation explores advanced artificial intelligence methodologies to enhance clinical decision-making in critical care through three complementary studies. The first publication describes the development of a reinforcement learning (RL) algorithm to optimize corticosteroid therapy in septic patients. Using data from 3,051 ICU admissions in the AmsterdamUMCdb, septic patients were identified according to the 2016 consensus definition. An actor-critic RL model, which utilized ICU mortality as a reward signal, was trained on time-series data comprising277 clinical parameters. Off-policy evaluations showed that the RL agent’s treatment policy –characterized by a more restrictive use of corticosteroids (withholding in 62% of patient states versus 52% in clinician practice) – yielded a higher expected reward and lower ICU mortality when evaluated with an independent test set. In the second study, we applied RL to support individualized decision making for renal replacement therapy (RRT) in critically ill patients with acute kidney injury (AKI). Data from the publicly available MIMIC-IV database and an external dataset from the Medical University of Vienna (MUW) were used, focusing on patients with AKI stage I or higher. By extracting 88features and using weighted K-means clustering to define patient states, a Q-learning based RL model was developed. The model achieved up to 98% agreement with clinician decisions and outperformed the average clinician’s treatment strategy in our evaluation methods. Notably, the model identified a subset of patients with higher disease severity who could benefit from earlier or more frequent RRT, highlighting the potential of AI-driven decision support to improve outcomes. The third publication of this dissertation addresses the challenge of predicting intraoperative hypotension. We employed a Temporal Fusion Transformer (TFT) model to forecast intraoperative arterial blood pressure trajectories up to 7 minutes in advance using low-resolution data (sampled every 15 seconds) from 73,009 patients undergoing general anesthesia for non-cardiothoracic surgery. The TFT model achieved a very low mean absolute error of approximately 4 mmHg in internal testing and 7 mmHg in external testing. Additionally, binary prediction of hypotension (mean arterial pressure below 65 mmHg) yielded excellent discrimination, with AUROC values of 0.933 and 0.919 in internal and external test sets, respectively. Collectively, these studies demonstrate that advanced AI techniques – including RL and transformer-based models – may lead to significant improvements in the personalization and precision of critical care therapies. The integration of robust data preprocessing, dynamic state-space representations, and off-policy evaluation methods supports the generalizability of these models. Ultimately, the work lays a solid foundation for future clinical trials and paves the way for AI-driven, individualized treatment strategies that promise to improve patient outcomes in various critical care settings. ay for AI-driven, individualized treatment strategies that promise to enhance patient outcomes across diverse critical care settings.