High-speed pose tracking for robotic grasping using an RGB camera and hybrid vision techniques

Abstract

Posenschätzung ist ein wichtiger Bestandteil von automatisierter robotischer Objektmanipulation und erfordert eine zuverlässige Schätzung der Objektpose mit hoher Frequenz, um in Echtzeitregelungssystemen mit hoher Bandbreite Anwendung zu finden. Diese Arbeit stellt eine modellbasierte Pipeline für das Pose-Tracking mit einer RGB-Kamera vor. Sie integriert Deep-Learning-Algorithmen zur Objektsegmentierung und initialen Pose-Schätzung, um eine hohe Flexibilität zu gewährleisten, während klassische Methoden der Computer Vision zur iterativen Aktualisierung der Pose in jedem Bild genutzt werden. Die Pipeline erreicht eine durchschnittliche Aktualisierungsrate von 50 Hz und zeigt eine zuverlässige Tracking-Performance in verschiedenen Szenarien, einschließlich eines robotischen Greifexperiments. Dennoch bestehen Herausforderungen bei der genauen Schätzung der Orientierung symmetrischer Objekte sowie beim Tracking von Objekten mit geringen Farbkontrasten zum Hintergrund oder stark texturierten Oberflächen.

Object pose tracking is a crucial part in automated robotic manipulation, requiring reliably updating the pose estimate at high frequencies so to enable precise high-bandwidth control in real-time applications. This thesis presents a pipeline for model-based pose-tracking with an RGB camera, implementing deep-learning-based algorithms for object segmentation and initial pose estimation to guarantee flexibility, while classical computer vision methods are used to iteratively update the pose in each image frame. The pipeline achieves an average update rate of 50 Hz while demonstrating good tracking performance for objects in various scenarios, including a robotic grasping experiment. However, challenges remain in accurately estimating the orientation of symmetrical objects and handling objects with similar colours to the background or highly textured surfaces.