Semantic labelling of objects in street scenes

Abstract

Um Fahrassistenzsysteme zu verbessern und um vollständiges autonomes Fahren zu ermöglichen, ist eine automatische, robuste semantische Interpretation von Straßenszenen notwendig. Jüngste Publikationen erzielten bemerkenswerte Ergebnisse im Bereich semantischer Segmentierung mittels Deep Learning. Die Berechnung von Neuronalen Netzen ist jedoch rechenintensiv. Klassische Machine Learning Ansätze können diesen Rechenaufwand verringern und zusätzlich die Komplexität der Algorithmen reduzieren. In dieser Diplomarbeit geben wir zunächst einen umfassenden Literaturüberblick über bestehende, klassische Machine Learning Ansätze zur semantischen Szenensegmentierung. Der Schwerpunkt liegt dabei auf Ansätzen, die sich mit der semantischen Segmentierung von Straßenszenen befassen. Des Weiteren vergleichen wir pixelweise annotierte, frei verfügbare Straßenszenendatensätze, die für das Trainieren und Evaluieren von semantischen Segmentierungsalgorithmen verwendet werden können. Im Hauptteil der Arbeit beschreiben wir die Entwicklung und Implementierung unseres Systems für semantische Szenensegmentierung. Wir implementieren zwei texturund kontext-basierte Features, welche on-the-fly in einem Random Forest berechnet werden. Wir evaluieren ausführlich den Einfluss der einzelnen Featureparameter und Random Forestparameter auf die Segmentierungsergebnisse und vergleichen die Performance beider Features. Unsere Ergebnisse zeigen, dass texturbasierte Features, welche in semantisch unzusammenhängenden Kontextbereichen zur Klassifizierung von Pixeln betrachtet werden, nicht ausreichend Information beinhalten, um kleine Objekte in anspruchsvollen Straßenszenen robust zu erkennen. Wir kommen zu dem Schluss, dass durch das Extrahieren zusätzlicher Features und einer Vorsegmentierung des Bildes in zusammenhängende Kontextbereiche die Klassifizierungsergebnisse vermutlich verbessert werden könnten.

An automatic and robust semantic interpretation of street scenes is required in order to improve driving assistance systems and to reach fully autonomous driving. Recent publications achieved remarkable prediction performances by using Deep Learning. However, the calculation of Neural Networks is computationally demanding. Classical Machine Learning approaches can reduce the complexity of the algorithms and computational demand. In this diploma thesis, we first give a comprehensive literature review of classical machine learning approaches for semantic scene labelling with a focus on street scenes. Furthermore, we compare pixel-wise annotated, freely available datasets of street scenes for the training and evaluation of semantic scene labelling algorithms. The main part of this thesis documents the development and implementation of our semantic scene labelling system. We implement two textureand context-based features and calculate them on-the-fly in a random forest. We extensively evaluate the influence of the feature parameters and random forest parameters on the prediction results and compare the performance of both features. Our results show that textural features in semantically unconnected regions fail to robustly detect small objects in challenging street scenes. Providing additional information by using a combination of multiple features and a pre-segmentation of the image in semantically connected regions could possibly improve the prediction results.