Time Series Prediction with Attention-Based Transformer Models

Abstract

Diese Arbeit erforscht die Anwendung von Transformer-basierten Modellen zur Vorhersage von zwei sehr unterschiedlichen Datensätzen. Zum besseren Vergleich wurden zusätzlich zwei weitere Modelle erstellt und die Vorhersageergebnisse mithilfe eines statistischen Tests kontrolliert. Die geringsten RMSE-Werte wurden vom SARIMA-Modell erreicht, knapp dahinter folgten die Transformer-basierten Modelle. Ein weiteres zentrales Thema dieser Arbeit war die visuelle Untersuchung der Aufmerksamkeit des Transformers. Die Ergebnisse zeigen, dass es einen Zusammenhang zwischen der Anzahl der Aufmerksamkeitsköpfe und der Verteilung der Aufmerksamkeit gibt. Zusätzlich wurde eine Periodizität in der Aufmerksamkeit nachgewiesen, wenn diese bereits in den Quelldaten vorhanden war. Am Ende der Arbeit wurden diese Modelle in einer Handelssimulation mit realenRegeln getestet, bei der es darum ging, Aktien zu kaufen und zu verkaufen. Alle Modelle erzielten einen negativen Gewinn, was auf die Schwierigkeit derart nicht-linearer und komplexer Finanzdaten hinweist.

This thesis explores the application of Transformer models for forecasting two different data sets. For a comparison, two other state-of-the-art (SARIMA and LSTM) models were created and compared with help of statistical tests. The results show, that the SARIMAmodel achieves the lowest RMSE-scores for both data sets, while the Transformer performs close to it. Another big topic was to analyze the attention of the Transformer model by a visual inspection. Additionally, the results show that there is a relationship between the number of attention-heads and the distribution of the attention. They also show if there exists a periodicity in the source data there is also a measurable periodicity in the attention. At the end of the study tested these models were tested in a training simulation with real-world rules. All models produce a negative profit after one month of trading indicating the difficulty of such non-linear and complex finance data.