Convolutional neural network-based object detection in night-time traffic scenes

Abstract

Mit dem wachsenden Bedarf an robusten Objekterkennungsalgorithmen in selbstfahrenden Systemen ist es entscheidend, die vielfältigen Licht- und Wetterbedingungen zu berücksichtigen, denen Fahrzeuge das ganze Jahr über ausgesetzt sind. Es ist unerlässlich, einem selbstfahrenden System einen zuverlässigen Objekterkennungsalgorithmus bereitzustellen, der unter diesen unterschiedlichen Bedingungen arbeiten kann. Deep-Learning-Methoden, insbesondere Convolutional Neural Networks (CNNs), haben sich hierbei als effektiv erwiesen, um diesem Bedarf gerecht zu werden. Um ein CNN in die Lage zu versetzen, diese unterschiedlichen Lichtverhältnisse zu bewältigen, ist eine sorgfältige Auswahl des Trainingsdatensatzes erforderlich. Öffentlich zugängliche Datensätze, welche für das Training von Deep-Learning-Algorithmen verwendet werden, weisen jedoch oft eine Verzerrung zugunsten von Tageslichtszenarien auf. Das Ziel dieser Masterarbeit ist es daher, effektive Strategien zur Auswahl und Zusammenführung von Trainingsdaten aus öffentlich zugänglichen und selbst aufgenommenen Datensätzen zu erforschen, um einem CNN die Erkennung von Objekten in nächtlichen Verkehrsszenen zu ermöglichen. Zu diesem Zweck haben wir das bestehende CNN YOLOv3 neu trainiert, um die Auswirkungen verschiedener Kombinationen von Trainingsdatensätzen auf die endgültigen Objekterkennungsergebnisse zu untersuchen. Unsere Ergebnisse zeigen, dass eine geeignete Auswahl von Trainingsdaten, kombiniert mit selbst aufgenommenen Nachtszenen, eine mittlere durchschnittliche Präzision (mean average precision, mAP) von 63,5% erreichen kann, was eine Verbesserung von 16,7% im Vergleich zur Leistung des ursprünglichen YOLOv3-Netzwerks darstellt.

As the demand for robust object detection algorithms in self-driving systems grows, it is crucial to consider the diverse lighting and weather conditions that vehicles encounter year-round. It is essential to provide a self-driving system with a reliable object detection algorithm, capable of operating under these varying conditions. Deep learning methodologies, particularly Convolutional Neural Networks (CNNs), have proven effective in meeting this need. To equip a CNN with the ability to handle these varying lighting challenges, a careful selection of the training dataset is necessary. However, publicly available traffic scene datasets used for training deep learning algorithms often have a bias towards daylight scenarios and optimal visibility conditions. Therefore, the goal of this master thesis is to explore effective strategies for selecting and merging training data from publicly available and self-recorded datasets, to enable a CNN to detect objects in night-time traffic scenes. To achieve this, we retrained the existing CNN YOLOv3, to study the impact of different training dataset combinations on the final object detection results. Our findings show that an appropriate selection of training data, combined with self-recorded night scenes, can achieve mean average prevision (mAP) of 63.5%, which is an improvement of 16.7%, compared to the performance of the original YOLOv3 network.