Advanced driver assistance system to stabilise the powerslide by reinforcement learning

Abstract

Controlling a vehicle's powerslide motion is a challenging control task, which is even more difficult in the presence of a human driver. While professional rally drivers make use of the powerslide to minimise stage time, it is rarely seen in normal road traffic for a good reason. The powerslide is an unstable motion, characterised by large side slip angles, large longitudinal forces on the rear axle and a steering angle pointing towards the outside of the turn. The aim of this work is to design a powerslide controller for an all-wheel drive battery electric vehicle with individually driven front and rear axles and a human driver in closed-loop using Reinforcement Learning. Reinforcement Learning, a data-driven optimal control strategy, has gained increasing attention in recent years, proving to be a powerful tool for controlling dynamic systems, especially the field of Deep Reinforcement Learning, which involves the integration of Deep Neural Networks. During the learning process, the network's parameters are iteratively updated in order to best possibly satisfy an optimality criterion. The trained network is able to approximate complex, nonlinear mappings between input and output variables that may not be easily captured by traditional controllers. The intention is to develop an Advanced Driver Assistance Systems to stabilise the powerslide by controlling front and rear axle drive torques, while the driver follows a given circular path solely by steering. This assistance system must account for the behaviour of a human driver, so the driver model used in simulation is designed accordingly.

Die Stabilisierung eines Fahrzeugs im Powerslide ist eine anspruchsvolle regelungstechnische Aufgabe, speziell unter Berücksichtigung eines menschlichen Fahrers. Professionelle Rally-Fahrer bewegen ihre Fahrzeuge häufig im Powerslide durch Kurven, um diese möglichst schnell zu passieren. Im alltäglichen Straßenverkehr wird man diesem Fahrmanöver hingegen kaum begegnen. Grund dafür ist, dass es sich beim Powerslide um einen instabilen Fahrzustand handelt bei dem große Schwimmwinkel, Schräglaufwinkel und Umfangskräfte an der Hinterachse sowie ein zum Kurvenäußeren zeigender Lenkwinkel auftreten. Ziel dieser Arbeit ist die Entwicklung eines Powerslide-Reglers, für ein allradgetriebenes Elektroauto mit einzeln angetriebenen Achsen und einem menschlichen Fahrer als Teil der Regelstrecke, mit Hilfe von Reinforcement Learning. Bei Reinforcement Learning handelt es sich um einen Machine Learning Ansatz zur Regelung dynamischer Systeme, wobei das Regelverhalten mittels datengetriebener Methoden iterativ verbessert werden soll. Speziell der Bereich des Deep Reinforcement Learnings hat in den letzten Jahren an Bedeutung gewonnen. Hier wird der Regler durch ein künstliches neuronales Netzwerk repräsentiert, dessen Parameter während des Trainings iterativ angepasst werden, um ein Optimalitätskriterium bestmöglich zu erfüllen. Das trainierte Netzwerk ist in der Lage komplexe, nichtlineare Zusammenhängen zwischen Eingangs- und Ausgangsgrößen zu approximieren, die klassische Regler nicht erfassen können. Ziel ist es, ein Fahrerassistenzsystem zu entwickeln, um den Powerslide zu stabilisieren, indem die Antriebsmomente der Vorder- und Hinterachse geregelt werden, während der Fahrer durch entsprechendes Lenkverhalten einer vorgegebenen Kreisbahn folgt. Das Assistenzsystem muss dabei das Verhalten eines menschlichen Fahrers berücksichtigen, deshalb wird in der Simulation ein entsprechendes Fahrermodell verwendet.