Probabilistic forecasting using Hidden Markov models: A use-case for household electrical power load forecasting.

Abstract

Obwohl Hidden Markov Modelle (HMM) in zahlreichen Anwendungsfeldern erfolgreich eingesetzt werden, ist ihre Nutzung für Prognosezwecke bislang vergleichsweise wenig untersucht worden. Aufgrund ihres stochastischen Aufbaus stellen HMM jedoch einen effizienten, mathematisch konsistenten und interpretierbaren Ansatz zur Erstellung probabilistischer Vorhersagen dar – einem Forschungsgebiet mit wachsender Relevanz, das derzeit überwiegend von Machine-Learning Methoden und Black-Box-Modellen dominiert wird.Diese Arbeit untersucht die Anwendung eines HMM-basierten Prognoseverfahrens zur kurzfristigen Vorhersage der Verteilung von elektrischer Haushaltslasten. Sie erweitert die bestehende Literatur, indem ein allgemeiner theoretischer Rahmen für HMM-basierende Prognosen entwickelt und daraus ein einfacher, zugleich leistungsfähiger Prognosealgorithmus abgeleitet wird. Die Implementierung des Use-Case umfasst eine für HMM neuartige Diskretisierungmethode, eine umfassende Hyperparameteroptimierung sowie eine detaillierte Modellanalyse, um Stärken und Grenzen des vorgeschlagenen Ansatzes systematisch zu bewerten. Erste empirische Ergebnisse deuten darauf hin, dass die HMM-basierte Prognosemethode etablierte Verfahren übertrifft und die relative Prognosegenauigkeit um bis zu 7% steigern kann. Obwohl der Schwerpunkt dieser Arbeit auf der Theorie, dem Aufbau und der Analyse des einfachen HMM-Prognosemodells liegt, sind die Resultate vielversprechend um HMM-basierende Vorhersagemethode weiter zu erforschen und sie als potenziell wettbewerbsfähige Alternative zu bestehenden kurzfristigen probabilistischen Prognosemethoden zu berücksichtigen.

Even though Hidden Markov models (HMMs) have been successfully implemented for various applications, HMM based forecasting has been widely neglected. Due to its stochastic design, HMM offers an efficient, mathematically enclosed, and tractable approach to generate probabilistic forecasts, which is a research field of rising interests dominated by black-box machine learning methods.This thesis investigates the possibility of applying a HMM forecasting method to predict the distribution of short-term electrical load of households. It contributes to existing literature by introducing a general theoretic framework for HMM based forecasting and derives a simple but efficient HMM forecasting algorithm. The implementation of the usecase includes a for HMM novel discretization type, detailed hyperparameter tuning and model analysis, to investigate the strengths and weaknesses of the proposed model. First tests show that the HMM forecasting method performs widely better than state-of-the-artmodels, reaching up to 7% improvement in prediction accuracy. While this thesis focuses on the theoretical backing, build-up and exploration of the basic HMM forecasting model, the results are promising to further pursue this topic and consider HMM as a potential, competitive alternative to existing short-term probabilistic forecasting methods.