Autonomous racing with attention-based neural networks

Abstract

In dieser Arbeit untersuchen wir den Einfluss von menschlicher Aufmerksamkeit auf künstliche neuronale Netze im Kontext des autonomen Rennfahrens. Zu diesem Zweck trainieren wir eine Nachahmung der menschlichen visuellen Aufmerksamkeit und integrieren sie in einen modifizierten Steuerungsansatz für autonome Rennen. Wir lernen eine Imitation der menschlichen Aufmerksamkeit aus Aufzeichnungen menschlicher Aufmerksamkeit mit einem supervised learning Ansatz für Heatmap-Regression. Nachdem wir die Nachahmung an realen Daten und in Simulationen evaluiert haben, verwenden wir sie, um Teilbilder der Eingabe für unseren Rennregler auszuwählen. Ziel dieser Teilbilder ist es, die Eingabegröße des Netzwerks zu reduzieren. Der in dieser Arbeit verwendete Renncontroller verwendet die Decision-Transformer-Architektur, die auf Generative Pre-Trained Transformern basiert, um High-Level-Aktionen zu generieren. Anschließend verwendet er Pure Pursuit, einen Standard-Pfadverfolgungsalgorithmus, um diese High-Level-Entscheidungen auszuführen.Decision-Transformer verwenden eine Variante von Offline-Reinforcement Learning für das Training, welche große Datenmengen erfordert, die wir mit Simulationen erzeugen. Wir vergleichen zwei Auswahlverfahren für Teilbilder und einen Vollbildansatz hinsichtlich ihrer Rundenzeiten, ihres Fahrverhaltens und der Varianz der Aktionswerte. In diesem Vergleich schneidet die auf menschlicher Aufmerksamkeit basierende Auswahlmethode besser ab als die anderen Ansätze, da sie schnellere Rundenzeiten und eine geringere Varianz der Ausgabewerte erzielt, obwohl das Fahrverhalten manchmal unerwünscht ist. Diese Arbeit hat gezeigt, dass es möglich ist, ein künstliches neuronales Netzwerk so zu trainieren, dass es die menschliche Aufmerksamkeit imitiert. Außerdem haben wir gezeigt, dass künstliche neuronale Netze, die menschliche Aufmerksamkeit erhalten, ihre Leistung verbessern und stabilere Vorhersagen machen können. Diese Arbeit hat auch einige der Mängel des derzeitigen Ansatzes aufgezeigt und neue Wege für die wissenschaftliche Erforschung eröffnet.

In this thesis, we explore the influence of human attention on Artificial Neural Networks in the context of autonomous racing. To do so, we train an imitation of human visual attention and integrate it into a modified control approach for autonomous racing. We learn a human attention imitation from recorded human attention data with a supervised learning approach for heatmap regression. After evaluating the imitation on real-world data and in simulation, we use it to select sub-images of the input to our racing controller to reduce the input size. The racing controller used in this thesis uses the Decision Transformer architecture based on Generative Pre-Trained transformers to generate high-level actions. It then uses Pure Pursuit, a standard path-tracking algorithm for executing those high-level decisions. Decision Transformers use a variant of Offline Reinforcement Learning for training, requiring large amounts of data, which we generate with simulation. We compare two selection policies for input sub-images and a full-image approach regarding their lap times, driving behavior, and variance of action outputs. In this comparison, the human attention-based selection policy outperforms the other approaches, achieving faster lap times and less variance in output values, even though the driving behavior is sometimes undesirable. In this thesis, we showed that training an Artificial Neural Network to imitate human attention is possible. Furthermore, we showed that providing Artificial Neural Networks with human attention can improve their performance and lead to more stable predictions. This thesis also highlighted some of the shortcomings of the current approach and opened up new directions for scientific exploration.