Classification of urban point clouds using 3D CNNs in Combination with reconstruction of sidewalks

Abstract

LiDAR-Geräte sind in der Lage die physische Welt sehr genau zu erfassen. Daher werden sie häufig für die 3D-Rekonstruktion verwendet. Leider können solche Daten sehr schnell sehr groß werden und meist ist nur ein Bruchteil der Punktwolke tatsächlich von Interesse.Daher wird die Punktwolke vorher gefiltert, um Algorithmen nur auf die für sie relevanten Punkte anzuwenden. Eine semantische Information über die Punkte kann für eine solche Filterung verwendet werden. Die semantische Segmentierung einer Punktwolke ist ein beliebtes Forschungsgebiet und auch hier gibt es in den letzten Jahren einen Trend in Richtung Deep Learning. Jedoch sind Punktwolken, im Gegensatz zu Bildern, nicht strukturiert. Daher werden Punktwolken oft rasterisiert, was jedoch in einer Weise geschehen muss, sodass die zugrunde liegende Struktur gut erhalten bleibt.In dieser Arbeit wird ein 3D Convolutional Neural Network für die semantische Segmentierung einer LiDAR-Punktwolke entwickelt und trainiert. Dabei wird eine Punktwolke mittels einer Octree-Datenstruktur repräsentiert, welche es ermöglicht, nur relevante Teile zu rasterisieren. Denn nur dichte Teile der Punktwolke, in denen sich wichtige Informationen über die Struktur befinden, werden immer weiter unterteilt. Das ermöglicht es, die Knoten eines gewissen Levels im Octree zu nehmen und diese als Daten zu rasterisieren.Es gibt viele Anwendungsgebiete für 3D Rekonstruktionen basierend auf Punktwolken.In einem städtischen Szenario können das zum Beispiel ganze Stadtmodelle oder einzelne Gebäude sein. Jedoch wird in dieser Arbeit die Rekonstruktion von Gehwegen untersucht.Da bei Überflutungssimulationen in Städten eine Erhöhung von ein paar Zentimetern einen großen Unterschied machen kann und Wissen über die Bordsteinegeometrie hilft die Simulation genauer zu machen. Bei der Gehwegrekonstruktion wird zuerst, basierend auf der semantischen Information des 3D CNNs, die Punktwolke gefiltert und dann werden Punktmerkmale berechnet, um die Punkte des Bordsteins zu erkennen. Mit diesen Bordsteinpunkten wird die Geometrie der Bordsteins, Gehweges und der Straße berechnet.Insgesamt wird in dieser Arbeit ein Proof-of-Concept Prototyp für semantische Punktwolken-Segmentierung mittels 3D CNNs und basierend auf dieser ein Detektions- und Rekonstruktionsalgorithmus für Bordsteine entwickelt.

LiDAR devices are able to capture the physical world very accurately. Therefore, they are often used for 3D reconstruction. Unfortunately, such data can become extremely large very quickly and usually only a small part of the point cloud is of interest. Thus,the point cloud is filtered beforehand in order to apply algorithms only on those points that are relevant for it. A semantic information about the points can be used for such a filtering. Semantic segmentation of point clouds is a popular field of research and here there has been a trend towards deep learning in recent years too. However, contrary to images, point clouds are unstructured. Hence, point clouds are often rasterized, but this has to be done, such that the underlying structure is represented well.In this thesis, a 3D Convolutional Neural Network is developed and trained for a semantic segmentation of LiDAR point clouds. Thereby, a point cloud is represented with an octree data structure, which makes it easy to rasterize only relevant parts. Since, just dense parts of the point cloud, in which important information about the structure is located, are subdivided further. This allows to simply take nodes of a certain level of the octree and rasterize them as data samples.There are many application areas for 3D reconstructions based on point clouds. In an urban scenario, these can be for example whole city models or buildings. However, in this thesis, the reconstruction of sidewalks is explored. Since, for flood simulations in cities, an increase in height of a few centimeters can make a great difference and information about the curb geometry helps to make them more accurate. In the sidewalk reconstruction process, the point cloud is filtered first, based on a semantic segmentation of a 3D CNN, and then point cloud features are calculated to detect curb points. With these curb points, the geometry of the curb, sidewalk and street are computed.Taken all together, this thesis develops a proof-of-concept prototype for semantic pointcloud segmentation using 3D CNNs and based on that, a curb detection and reconstruction algorithm.