Visual servoing of a six degrees-of-freedom industrial robot by RGB-D sensing

Abstract

Visual Servoing ist eine gängige Anwendung in der Welt der Industrieroboter, die dazu beiträgt, Stillstandszeiten und Rüstungskosten bei Kleinserienproduktionen niedrig zu halten, indem die visuelle Information des gesuchten Werkstücks zur Robotermanipulation herangezogen wird. Der Fokus liegt dabei auf der Erkennung des Werkstücks im Arbeitsraum, was bedeutet, dass der Roboter nur ein begrenztes Sichtfeld hat und nicht auf seine volle Umgebung achten kann. Erfasst man jedoch den Roboter gemeinsam mit seiner Umgebung, so kann er auch im kollaborativen Sinne eingesetzt werden. Derzeit sind kollaborative Roboterlösungen auf Kollisionserkennung über druckempfindliche Oberflächen oder auf abnorme Krafterkennung beschränkt. Durch die Wahrnehmung der Umwelt mit Kameras können aber Kollisionen zur Gänze vermieden werden. Das implementierte Visual Servoing Konzept mit RGB-Tiefenbild (RGB-D) Sensorsystemen beschäftigt sich mit der absoluten Posenerkennung eines Industrieroboters. Für eine punktwolkenbasierte Objektsuche werden die Gelenke eines Roboters mit Hilfe von rechnerunterstütze Konstruktion (CAD) Dateien in Punktwolken transformiert, die dann mit dem Bild der RGB-D Kameras abgeglichen werden. Durch die a-priori- Kenntnis vom Aufbau des Roboters und folglich dessen Punktwolken-Darstellung sowie dessen kinematischen Beschränkungen gemäß

constraints of the robot according to the Denavit-Hartenberg (DH) convention, a virtual model of the robot can be created. Thus, the Iterative Closest Point (ICP) point-set registration method can be used to align the virtual robot model with the real robot’s point cloud. The matching of the model with the point cloud of the robot is done iteratively link by link, until the distance of the model to the real robot becomes ever narrower and finally aligned. The implemented method leads to accurate results for static pose detection of an ABB IRB 120, with a deviation of the joint angles of 6◦ RMS for a deviation of the Tool Center Point (TCP) in a spherical volume with a radius of r = 5mm. For the motion tracking of the robot deviations of 17◦ RMS and r = 60mm can be achieved. This work allows sensor-less positioning of a robot, since the joint angles can be obtained purely out of the model, but also a joint angle transducer failure detection and correction, and a fast robot calibration can be done. In addition, the developed sensorless positioning system is a step towards collaborative robot systems, in the sense of Industry 4.0, since collisions can be detected and prevented, due to the now known pose of the robot.