A systemic approach to incremental 3D semantic mapping

Abstract

Für autonom agierende Roboter ist es wichtig ihre Umgebung sinnhaft zu erfassen,Position und Klasse der umliegenden Objekte zu erkennen. Durch die Anwendung von semantischer Segmentierung auf aufgezeichnete Bilder oder Punktwolken können Bereiche der Umgebung klassifiziert werden. Um weiters räumliche Zusammenhänge zu erkennen wird die Klassifizierung mit Lokalisierungsinformation kombiniert und damit eine semantisch segmentierte Karte erstellt. Auf dieser Karte ist jeder aufgezeichneten Oberfläche eine Klassifizierung zugewiesen, Interaktionen können entsprechend geplant werden.Die Evaluierung semantischer Segmentierung in realen Umgebungen ist schwierig,da für diesen Fall typischerweise keine Vergleichswerte (engl. ground truth) existieren. Simulierte Umgebungen hingegen besitzen absolute Information über sich selbst und ermöglichen damit die automatische Generation dieser Vergleichswerte.In dieser Arbeit präsentieren wir ein System in dem, in einer simulierten Umgebung, von den Sensoren eines Roboters Tiefen- und Farbbilder aufgezeichnet werden während er sich durch einen Raum bewegt. Die Bilder werden mit einem künstlichen neuronalen Netz semantisch segmentiert und mithilfe von Lokalisierungsinformation zu semantisch segmentierten Punktwolken transformiert. Diese Punktwolken werden dann in einer dreidimensionalen Karte fusioniert (in einer Octomap). Die Karte wird mit einer automatisch generierten Vergleichskarte evaluiert, welche die semantische Information über die vorhandenen Objekte beinhaltet. Dies bietet eine Testumgebung mit hoher Wiederholbarkeitsrate. Mit dem System werden Experimente durchgeführt, um Verbesserungsmöglichkeiten der semantischen Kartenerzeugung aufzuzeigen. Verbesserungen durch Roboter Einstellungen, durch unterschiedliche Datenfusionierungsmethoden und durch Zuverlässigkeitsfaktoren. Weiter Experimente überprüfen die Wiederholbarkeitsrate der Testumgebung, die Stetigkeit der semantischen Kartenerzeugung und den Einfluss von Umgebungseinstellungen der simulierten Umgebung auf die semantische Kartenerzeugung.

For autonomous operation, robots have to understand their environment, determine the locations and types of objects populating it. By applying semantic segmentation to recorded images or point clouds, sections of the environment canbe classified. To also provide spatial relations, this classification is combined with localization information, generating a semantically segmented map. In this map,every recorded surface is classified and interactions can be planned accordingly.Evaluation of semantic segmentation algorithms for live scenarios is difficult because there typically is no ground truth to evaluate them against. Simulated environments, however, offer the true information about themselves and thus enable the automatic generation of the ground truth.In this work we present a system in which, in a simulated environment, depth and color images are recorded by a robot’s sensors while moving through the room. A convolutional neural network semantically segments the images which,in combination with localization information, are transformed to semantically segmented point clouds. The point clouds are then fused in an Octomap. The Octomap is then evaluated with a ground truth point cloud generated from the same environment, creating a benchmarking system with a high degree of repeatability. With this system, experiments are conducted showing improvements to the semantic mapping results with robot settings, data fusion methods and reliability factors. Further experiments are conducted to evaluate the system’s repeatability, semantic mapping consistency and how environmental factors impact semantic mapping.