Advancing Karst Spring Time Series Forecasting: Transfer Learning through Temporal Fusion Transformers and xLSTM

Abstract

Karstquellen versorgen rund die Hälfte der österreichischen Bevölkerung mit Trinkwasser. Präzise Vorhersagen ihrer Quellschüttung stellen somit einen wichtigen Bestandteil des Wasserressourcenmanagements sowie von Frühwarnsystemen dar. Aktuelle Deep-Learning-Ansätze sind bereits in der Lage, die Quellschüttung vorherzusagen, jedoch nimmt ihre Genauigkeit mit zunehmendem Prognosehorizont ab. Somit besteht die Gefahr, dass extreme Schüttungsereignisse verzögert oder gar nicht erkannt werden. Das ist ein motivierender Ausgangspunkt zur Weiterentwicklung moderner Vorhersagemodelle. Dabei muss neben der Vorhersagequalität auch der womöglich mit der Modellkomplexität ansteigende Energieverbrauch berücksichtigt werden.Zur Bewältigung dieser Herausforderungen werden in dieser Arbeit Temporal Fusion Transformer (TFT) und Extended Long Short-Term Memory (xLSTM) Modelle für die ein- bis viertägige Schüttungsvorhersage von 40 in Österreich liegenden Karstquellen von 2001 bis 2020 implementiert und evaluiert. Das TFT ist aufgrund seiner expliziten Unterstützung zukünftiger bekannter Eingangsgrößen interessant, was ein Orakel-Experiment mit zukünftigen meteorologischen Informationen zur Verbesserung längerfristiger Vorhersagen ermöglicht. Beim xLSTM handelt es sich um eine Weiterentwicklung des LSTM-Modells, welches möglicherweise vergleichbare Ergebnisse zu den Transformer-basierten Modellen bei gleichzeitig geringerem Ressourcenverbrauch erzielen könnte. Mittels Transfer Learning wird zudem versucht, ein auf mehreren Karstquellen vortrainiertes Modell mittels Fine-Tuning auf zuvor nicht involvierte Quellen anzupassen, um bessere Vorhersagen bei geringerem Trainingsaufwand zu erzielen.Im Schnitt erreichte die evaluierte xLSTM-Implementierung bessere Ergebnisse als das Referenz-LSTM auf dem Datensatz. Die höchste Genauigkeit wurde mit der TFT-Implementierung in Kombination mit zukünftigen meteorologischen Informationen erzielt. Die Leistungssteigerung war besonders bei längeren Prognosehorizonten sichtbar, wodurch in den untersuchten Beispielen extreme Quellschüttungen genauer vorhergesagt werden konnten. Am Vier-Tage-Horizont erhöhte sich die mittlere NSE von 0.589 auf 0.77 unter Zuhilfenahme perfekter zukünftiger Wetterinformation. Der Einsatz des TFTs war mit dem größten Rechenaufwand verbunden, jedoch erwies sich das Transfer Learning beim TFT als effektiv. Die mit Fine-Tuning angepassten Modelle erreichten eine mit individuell trainierten Modellen vergleichbare Vorhersageleistung, während der Trainingsaufwand reduziert werden konnte, sofern ein vortrainiertes Modell zur Verfügung stand.

Karst springs supply drinking water to approximately half of Austria's population, making accurate multi-day discharge forecasting an important component of water resource management and early warning systems. Although recent Deep Learning approaches have achieved promising results for discharge forecasting of Austrian karst springs, predictive performance deteriorates with increasing lead time, causing delayed or missed discharge peaks in the forecasts. At the same time, the growing computational demands of modern forecasting models raise the need to consider energy consumption alongside predictive accuracy to support environmentally responsible deployment.To address these challenges, the Temporal Fusion Transformer (TFT) and the Extended Long Short-Term Memory (xLSTM) architecture are evaluated for one- to four-day discharge forecasting with 40 Austrian karst springs in the period from 2001 to 2020. The TFT is chosen for its explicit support of future known inputs, enabling an oracle experiment using perfect future meteorological observations to improve long-range predictions. The xLSTM is investigated as a variation of the LSTM that may provide competitive forecasting performance while requiring less computational effort than Transformer-based architectures. Furthermore, Transfer Learning is evaluated to determine whether fine-tuning a model pre-trained on multiple springs can improve forecasting performance for previously unseen springs while reducing the energy required for training.The evaluated xLSTM implementation outperformed the reference LSTM in most scenarios on this dataset, whereas the evaluated TFT implementation achieved the highest predictive performance when future meteorological information was incorporated. This effect was also observed for longer forecasting horizons, leading to better tracking of discharge peaks in the examined examples. At the four-day horizon, mean NSE improved from 0.589 to 0.77 with perfect future weather information. These advancements came at the cost of increased energy consumption, with the TFT exhibiting the largest computational footprint of the evaluated models. Transfer Learning, however, proved effective for the TFT, enabling fine-tuned models to achieve performance comparable to individually trained models while reducing training effort in case a pre-trained model already exists. Overall, the findings demonstrate that leveraging model architectures capable of integrating future meteorological information offers great potential for improving multi-day karst spring discharge forecasting, while Transfer Learning provides a promising approach for adapting forecasting models to new springs with reduced computational effort.