Autonomous calibration of depth sensors for robotic vision

Abstract

In den letzten Jahren erweiterten neuartige Farbund Tiefensensoren (RGB-D) die Grenzen der Roboterwahrnehmung. Hochauflösende Tiefendaten, kombiniert mit RGB Information, ermöglichen es detaillierte Sensorsignale dem dreidimensionalen Raum zuzuordnen. Allerdings ist nur wenig über die exakten Eigenschaften dieser Sensoren bekannt. Kenntnisse über die exakten Fehlermodalitäten sind für die Entwicklung eines Sensorsimulationsmodells essentiell. Dieses ist wiederum notwendig um Algorithmen auf Basis synthetischer Daten gegenüber Tiefenfehlern zu desensibilisieren. Oft ist eine Desensibilisierung des Algorithmus nicht möglich, während die Sensoren zusätzlich unzuverlässige Daten liefern. Dies motiviert Verfahren, die Tiefenfehler nachträglich korrigieren können, jedoch ist eine Korrektur der Tiefendaten gelegentlich unzureichend. Beispielsweise wenn eine pixelgenaue Assoziation zwischen RGB- und Tiefenwerten benötigt wird, was eine exakte Kalibrierung erfordert. Die autonome Kalibrierung von RGB-D Sensoren ist dabei ein noch ungelöstes Problem. Zusätzlich sollte eine holistische Kalibrierung im Stande sein, die rigide Transformation zwischen dem Sensor und einem roboterfesten Koordinatensystem zu bestimmen. Diese Arbeit befasst sich mit den erwähnten Herausforderungen und präsentiert fünf Lösungsvorschläge. Erstens werden zehn aktuelle Sensoren evaluiert, die die drei häufigsten RGB-D Sensorfamilien abdecken. Zweitens wird ein generics Tiefenfehlersimulationsmodell untersucht. Drittens werden zwei Kameramodell-unabhängige Methoden präsentiert, die es erlauben Tiefenfehler nachträglich zu korrigieren. Viertens wird die Assoziation von RGB- und Tiefendaten durch einen robusten autonomen Kalibrierungsalgorithmus verbessert, der eine Structure from Motion (SfM) Rekonstruktion und Annahmen über Ebenen im Raum mit einem Optimierungsproblem kombiniert. Fünftens erweitert diese Arbeit den Stand der Technik um eine Methode zur automatischen Kalibrierung der Sensorpose relativ zu einem roboterfesten Koordinatensystem. Die Ergebnisse der Sensorstudie zeigen charakteristische Fehlermodalitäten abhängig von der verwendeten Sensortechnologie. Das vorgestellte Simulationsmodell repliziert die linearen, nicht-linearen und lokalen Fehler der untersuchten Sensoren. Die Kameramodell-unabhängigen Kompensationsmethoden verbessern erfolgreich die Richtigkeit und Präzision der Messungen. Die automatische Kalibrierungsmethode zeigt gegenüber dem Stand der Technik eine signifikante Verbesserung der Assoziation von Tiefenund RGB Daten. Der Algorithmus zur Kalibrierung der Sensorpose extrahiert in ersten Experimenten erfolgreich die rigide Transformation zwischen dem Sensor und einem roboterfesten Referenzsystem.

In the last few years the first generation of novel color and depth (RGB-D) sensors greatly pushed the frontier of robot perception. Dense depth data combined with color information offers the opportunity to directly relate rich sensor signals to the three dimensional operational space of the robot. Although RGB-D sensors are widely used, only little is known about their properties. Knowing the exact error modalities is essential to develop a sensor simulation model which is necessary to test and desensitize algorithms for depth sensing errors with large-scale synthetic datasets. Often it is impractical to desensitize an algorithm, but at the same time it might be impossible to get decent depth estimates from the sensor. That motivates methods which enable a correction of the depth information in a post-correction step. If a correction of the depth measurements is not sufficient, i.e. if a precise pixel-wise fusion of color and depth information is required, an accurate calibration is necessary. However, the autonomous calibration of RGB-D setups is still an open problem. In order to relate the sensor information to other components of the robot, a holistic calibration should recover the rigid transformation between the sensor and a robot-fixed reference system. This work addresses these open challenges with five approaches. First, it evaluates ten different RGB-D and depth sensors covering the three main sensor technologies: Structured Light, Active Stereo, and Time of Flight (ToF). Second, it continues with an intuitive and generic method to simulate characteristic systematic errors of the investigated state-of-the-art depth sensors. Third, two alternative camera-modelagnostic depth compensation methods are added that correct systematic depth sensing errors, without altering the sensors internal parameters. Fourth, the alignment of RGB and depth data is improved with a robust autonomous calibration algorithm that utilizes structure from motion (SfM) and incorporates plane priors in the optimization. Fifth, this work contributes an extrinsic pose calibration algorithm that uses the trajectory of the robot to find an optimal rigid transformation between the camera and a reference system. The results of the sensor study show characteristic error modalities dependent on the sensor technology. The systematic depth error simulation model replicates the characteristic non-linear, and radial-shaped, local errors as well as linearly increasing errors of the investigated sensors. The presented camera-model-agnostic depth compensation methods successfully improve the trueness and the precision of the depth measurements. The introduced auto-calibration method shows an significant improvement of the calibration accuracy compared to the state of the art. In first experiments, the extrinsic camera pose calibration recovers the camera pose relative to a reference system.