Enhancements in CGM forecasting: Robustness against domain shifts and safer predictions

Abstract

Die weltweite Zahl der Diabetiker wächst, mit geschätzten 536 Millionen betroffenen Personen im Jahr 2021 und Prognosen von bis zu 783 Millionen bis 2045. Eine genaue Glukoseprognose ist im Diabetes-Management von großer Bedeutung, da diese rechtzeitig vor gefährlichen Glukoseabweichungen warnt und somit Komplikationen verhindert. Obwohl zahlreiche Glukosevorhersagemethoden existieren, sind diese selten auf klinisch relevante Vorhersagen optimiert und die Herausforderungen im Zusammenhang mit Verteilungsverschiebungen über Patientenpopulationen aufgrund von Faktoren wie neuen Diabetesbehandlungen führen zu einer mangelnden Robustheit. Diese Arbeit adressiert diese kritischen Lücken und schlägt verbesserte Modelle vor, welche klinisch bedeutsame Fehler minimieren als auch robuster gegenüber sich verändernden Verteilungen sind.Unser diverser Datensatz beinhaltet unterschiedliche Diabetes-Profile. Wir nutzen long short-term memory (LSTM) und attention-basierte Ansätze für probabilistische continuous glucose monitoring (CGM)-Prognosen und implementieren den Parkes error grid (PEG)-loss zur Reduktion klinisch relevanter Fehler. Durch die Integration von gated-domain-units (GDUs) wird die Modellrobustheit erhöht. Die Bewertung erfolgt sowohl über klassische Metriken wie negative log-likelihood (NLL) und root-mean-square error (RMSE) als auch über den PEG. Die Verwendung des PEG-loss resultiert in einer signifikanten Reduktion von medizinisch relevanten Vorhersagefehlern bei beiden Architekturen. Der Einsatz von GDUs verbessert die Performance der Vorhersagemodelle für Individuen mit zuvor nicht gesehenen Diabetes-Behandlungen. Die GDU-Modelle zeigen eine verbesserte Robustheit gegenüber Verteilungsverschiebungen der Daten und übertreffen Ensemble-Modell-Benchmarks. Diese Modelle weisen eine erhöhte Interpretierbarkeit auf und beleuchten verschiedene Subdomänen innerhalb des Datensatzes. Insgesamt stellt diese Arbeit einen bedeutenden Schritt zur Entwicklung von CGM-Prognosemodellen dar, die nicht nur eine hohe technische Leistung aufweisen, sondern auch klinischer Signifikanz gerecht werden. Die Modelle weisen lobenswerte Domänengeneralisierungsfähigkeiten auf und sind anpassbar an vielfältige Diabetes-Behandlungen. Allerdings sind die Modelle nicht ohne Limitationen. Die inhärenten Komplexitäten der CGM-Daten stellen einige Herausforderungen dar, welche zusätzliche Aufmersamkeit benötigen. Dennoch ebnen die Ergebnisse den Weg für vielversprechende zukünftige Forschungen und praktische Anwendungen und könnten das Diabetesmanagement für eine vielfältige Bevölkerung verbessern.

The global diabetic population is increasing, with an estimated 536 million individuals affected in 2021 and projections rising to 783 million by 2045. Accurate glucose forecastingis paramount in diabetes management, as it provides timely warnings against dangerous glucose deviations, thus preventing complications ranging from retinopathy to death. While numerous glucose prediction methods exist, they are seldom optimized towards clinically relevant predictions and the challenges related to distribution shifts across patient populations due to factors like new treatments lead to a lack of robustness. This research addresses these critical gaps, proposing enhanced models that are both safer, by minimizing clinically consequential errors, and more robust, accommodating shifting distributions in glucose monitoring data.In our study, we use a diverse dataset of individuals with varying diabetes profiles. We employ an LSTM and an attention-based architecture for probabilistic CGM forecasting.We introduce the PEG loss to train deep learning architectures towards making less clinically relevant errors. Integration of GDUs ensures model robustness. Model performance is assessed using both classical metrics, i.e., NLL and RMSE, as well as clinical error evaluations based on the PEG.Our novel PEG loss function, tailored for reducing clinically significant errors, demonstrates its efficacy when applied to both LSTM and attention-based models, achieving a marked reduction in clinically relevant prediction errors. This is achieved without a significant increase in computational complexity. The adaptability offered by the PEG loss enables performance optimization across various clinical scenarios. Furthermore, using gated-domain units (GDUs) enhances domain generalization capabilities to new treatments. The integrated gated-domain-units (GDU) models exhibit improved robustness against data distribution shifts, surpassing ensemble model baselines in performance. These models also enrich model interpretability, shedding light on diverse subdomains within the feature space.Overall, the research presents a significant step towards developing CGM forecasting models that not only offer high technical performance but also adhere to clinical significance.While our models show commendable domain generalization capabilities, making them adaptable to diverse diabetes treatments, they are not without limitations, particularly concerning the inherent complexities of CGM data and challenges in model design as well as evaluation. Nonetheless, the findings pave the way for promising future research and practical applications, potentially improving diabetes management for a diverse population.