An adaptive computer-vision-based method to calculate vehicle-motion parameters

Abstract

Bei der Entwicklung von selbstfahrenden, autonomen Fahrzeugen kommen der Zuverlässigkeit und Genauigkeit der Sensoren eines Fahrzeuges immer größere Bedeutung zu. Einer der wichtigsten Parameter ist die Geschwindigkeit des Fahrzeuges. Dieser Parameter wird bisher durch Methoden gemessen, die die Rotation der Räder erfassen. Bei Schlupf der Räder beziehungsweise bei Traktionsverlust versagen diese Methoden. Thema dieser Diplomarbeit ist die Entwicklung und Implementierung eines neuartigen SensorSystems um Bewegungsparameter eines Fahrzeuges wie z.b. Geschwindigkeit und Beschleunigung zu erfassen. Dieser Sensor basiert auf einer Kombination aus einer Kamera und speziellen Computer Vision Algorithmen, die die erforderlichen Parameter aus dem Videostream der Kamera berechnen. Durch die weite Verbreitung von hochqualitativen Video Systemen zu immer geringeren Kosten kann ein auf Video basierendes System zum Beispiel in Fahrassistenzsystemen und sogar autonomen Fahrzeugen verwendet werden. In solchen sicherheitskritischen Systemen ist es notwendig, mehrfach redundante Sensoren für die benötigten Messgrößen zu verwenden, um ein hohes Maß an Fehlertollereanz zu erreichen. Um systematische Fehler, die durch Radschlupf beziehungsweise Traktionsverlust entstehen zu vermeiden, muss eine Methode gefunden werden, die auf einem anderen Prinzip als der Rotation der Räder beruhen. Es ist üblich, mehrere verschiedene Sensoren für die selbe Messgröße gleichzeitig zu verwenden. Die Messwerte der verschiedenen Sensoren werden durch ein Sensor Fusion System ausgewertet, um das gewünschte Maß an Zuverlässigkeit und Fehlertoleranz zu erreichen und außerdem die Genauigkeit der Messung zu erhöhen.Um die bestmögliche Funktion eines Sensor Fusion System sicherzustellen ist es notwendig, zu jedem Messwert auch einen Konfidenzwert bereitzustellen, der die Zuversicht in die Genauigkeit des Messwertes ausdrückt. Es wurden Methoden erarbeitet, um aus dem Videostream neben den primären Bewegungsparametern auch Konfidenzwerte zu berechnen. In dieser Arbeit werden unterschiedliche Algorithmen, basierend auf verschiedenen Methoden, implementiert und untereinander verglichen. Neben der Genauigkeit ist dabei auch der benötigte Rechenaufwand ein relevanter Parameter. Weiters wird untersucht, ob und wie es möglich ist, den Sensor dynamisch an variierende Bedingungen anzupassen, wie beispielsweise verschiedene Geschwindigkeitsbereiche oder unterschiedliche Untergründe (Asphalt gegenüber Kopfsteinpflaster). Als Ergebnis dieser Diplomarbeit wurde ein System als wiederverwendbares Software Modul für das ROS (Robot Operating System) implementiert. Der Sensor wurde unter unterschiedlichen Bedingungen in anwendungsnahen Szenarios mit einem autonomen Forschungsfahrzeug erprobt, um die Funktion des Sensors zu demonstrieren.

On the road towards autonomous self driving cars, the reliability and accuracy of the vehicles sensors are becoming even more important than ever. An important parameter is the vehicles speed, which is traditionally measured with methods based on the rotation of the vehicle-s wheels. When the vehicles wheels are slipping, these methods fail completely. The topic of this master thesis is the design and implementation of a new sensor system for gathering measurements of a moving vehicle, i.e. speed and acceleration. The sensor uses a video camera in combination with a computer vision algorithm that extracts the required parameters from the provided image stream. With the widespread availability of high quality video systems at ever decreasing cost, a system like that could be used for instance in driving assistance systems and even autonomously self driving cars. In such a safety-critical system, it is required to provide several redundant sensors to capture the required parameters, in order to achieve fault tolerance. To avoid systematic errors caused by wheel slipping, it is advisable to use a fundamentally different method. Measurements of all sensors are combined in a sensor fusion system to provide the required level of fault tolerance and increase precision at the same time. In a sensor fusion system, it is also necessary to have a confidence value that indicates if the current measurement is likely to be accurate and precise. Methods have been developed derive such a confidence value from the video stream while calculating the primary movement parameters. This work explores and implements several algorithms based on different methods, and compares them for their performance. Not only the accuracy, but also the computational effort are important parameters. Furthermore, it was investigated if and how it is possible to dynamically adapt the resulting system to various conditions, for example different speed or the difference between a asphalted street, cobblestone and a meadow. As the final result of this thesis, a sensor was implemented as a Robot Operating System (ROS) module that can easily be reused. The sensor was tested in different real world conditions with a autonomous research rover to prove the viability of the implemented sensor.