Eye-In-Hand pose estimation of industrial robots

Abstract

Die Information über die aktuelle Pose eines Roboters spielt eine wichtige Rolle, um die Verwendung weiterführender Regelungen und Steuerungen zu erlauben. Damit stellt sie eine Voraussetzung für die Algorithmik zur Vermeidung von Kollisionen oder Mensch-Maschinen-Interaktion dar. Eine besonders ansprechende Lösung ist es, die Endeffektorpose des Roboters direkt über Kamerasysteme zu schätzen, da diese leicht zu verallgemeinern sind und dementsprechend auf einer Vielzahl von Robotertypen Anwendung finden können. Da Kameras keinerlei Restriktionen in Bezug auf die Roboterstruktur definieren, sind sie im Kontext von modularen R‬obotern besonders gut geeignet. Wird die Kamera auf dem Roboter platziert und mit diesem mitbewegt, spricht man von einer eye-in-hand Konfiguration. Mit dieser ist es mögliche eine höhere Sensitivität gegenüber Änderungen in der aktuellen Kamerapose zu erlangen, da nun ein optischer Hebel zwischen der Kamera und der Umgebung wirksam ist. Das in dieser Arbeit vorgestellte System verwendet eine etablierte Methode zur Posenschätzung, die soweit nur für mobile Roboter verwendet wurde und zeigt, wie sie auch im Kontext von industrieller Robotik verwendet werden kann. Dieser Algorithmus verwendet die Bewegung, die durch die Kamera am Roboter erkannt wird, um eine Karte der Umgebung zu erzeugen und die aktuelle Lage des Roboters in der Karte zu finden. Des Weiteren wird die Performanz des Systems mit der Implementierung einer eye-to-hand Posenschätzung auf Stand der Technik verglichen. Der Vergleich ergibt, dass mit der Wiederholgenauigkeit von 2,6mm, die vorgestellten eye-in-hand Posenschätzung, eine um den Faktor 4,4 genauere Endeffektorpose geschätzt wird. Zusätzlich wird mit einer Schätzung der Gelenkwinkel im Mittel eine Wiederholgenauigkeit von 13,6mrad erreicht. Die erreichte Wiederholgenauigkeit der Schätzung der Endeffektorpose und der Gelenkwinkel erlaubt es, das System für Algorithmen zur Vermeidung von Kollisionen oder Mensch-Maschinen-Interaktion im Kontext von modularer Robotik zu verwenden.

The accurate knowledge of a robot’s current pose is important to allow the implementation of further control techniques and the deployment of sophisticated algorithms, like collision avoidance or human machine interaction. One particularly appealing solution is given by an end-effector pose estimation using only visual clues, as they can easily be generalised and deployed for multiple types of robots. Since the deployed camera does not form any constraints on the robots’ structure, such solutions are especially useful in the context of modular robots. Placing the camera onto the robot and forming an eye-in-hand camera configuration provides an additional sensitivity to motion, as an optical lever between the camera and the environment is utilised. The novel system proposed in this thesis utilises a state-of-the-art pose estimation technique, which so far is solely used for mobile robots, and verifies its usability in the context of industrial robots. These algorithms use the motion captured by the moving camera at the end-effector to generate a map of the environment while simultaneously estimating the current location of the camera inside said map. Furthermore, a comparison to a state-of-the-art implementation is given, which in contrast to the proposed system uses an eye-to-hand camera configuration to estimate the current pose of the robot. Additional evaluations are carried out, revealing that a tool-centre-point (TCP) estimation precision of 2.6mm is achievable, which outperforms the state-of-the-art eye-to-hand setup by a factor of 4.4. In addition to the TCP the robot joints are estimated, showing that on average and avoiding singular robot poses, an accuracy of 13.6mrad for each joint is possible. Due to the pose estimation performance of the system, it is feasible to deploy it for collision avoidance tasks and human machine interactions in the context of modular robots.