Deep hough voting based 3D object detection and pose estimation in LiDAR point clouds

Abstract

Spatial reasoning, particularly the ability to detect and recognize objects within a 3D environment, is crucial for robotic systems aiming to navigate and function in unfamiliar settings. In this thesis, we introduce a method specifically designed for detecting cuboid shaped objects within point clouds through a voting-based mechanism and estimating their 9DoF pose. Our detection framework is accompanied by a synthetic data generation pipeline, which is utilized to generate the necessary training data.Our evaluation reveal that our method exhibits robust performance when applied to realworld data, even though it was exclusively trained on synthetic data. The examination of the sim-to-real gap shows just minimal degradation of orientation estimation and a moderate decline in detection capability. We test different orientation representations and propose a way to map equivalent but distinct orientations of cuboids to a single canonical orientation in a deterministic way.

Räumliches Denken, insbesondere die Fähigkeit, Objekte in einer 3D-Umgebung zu erkennen und zu identifizieren, ist für Robotersysteme, die in unbekannten Umgebungen navigieren und arbeiten sollen, von entscheidender Bedeutung. In dieser Arbeit stellen wir eine Methode vor, die speziell darauf ausgelegt ist, quaderförmige Objekte in Punktewolken durch einen vote-basierten Mechanismus zu erkennen und ihre 9DoF-Pose zu schätzen. Unser Erkennungsschema wird durch eine Pipeline für die Erzeugung synthetischer Daten ergänzt, die zur Generierung der erforderlichen Trainingsdaten genutzt wird. Unsere Experimente zeigen, dass unsere Methode robuste Ergebnisse liefert, wenn sie auf echte Daten angewendet wird, obwohl sie ausschließlich auf synthetischen Daten trainiert wurde. Die Untersuchung der sim-to-real gap zeigt nur eine minimale Verschlechterung der Orientierungsschätzung und einen moderaten Rückgang der Detektionsfähigkeit. Wir testen verschiedene Darstellungen der Orientierung und schlagen eine Methode vor, um äquivalente, aber unterschiedliche Orientierungen von Quadern auf eine einzige kanonische Orientierung in einer deterministischen Weise abzubilden.