Improving industrial robot accuracy utilizing iterative learning control with visual environment feedback

Abstract

Collaborative robots (cobots) ermöglichen eine enge Zusammenarbeit zwischen Mensch und Maschine in gemeinsamen Arbeitsbereichen, wodurch sie Platz sparen und dank ihrer leichten Bauweise ein höheres Maß an Sicherheit bieten. Allerdings führen diese leichteren, weniger starren Komponenten zu erheblichen Abweichungen der Trajektorie am TCP des Roboters.Diese Arbeit präsentiert ein kamerabasiertes ILC-System, das systematische kinematische und nicht-kinematische Fehler des Roboterendeffektors bei sich wiederholenden Aufgaben kompensiert. Das System verwendet eine am Endeffektor montierte Kamera und arbeitet in zwei Phasen: In der Ground-Truth-Phase werden Referenzbilder aufgenommen und mithilfe von Triangulation eine 3D-Karte erstellt. Anschließend werden die Bilder mit der fehlerhaften Trajektorie aufgenommen und mittels einer optimierung-basierenden visuellen Odometrie (VO) analysiert. Dabei werden Bewegungsab- weichungen der Kamera und somit des Endeffektors im Vergleich zu den Referenzbildern ermittelt. Auf Basis dieser erfassten Abweichungen optimiert ein PD-basierter ILC-Prozess die Robotertrajektorie, indem er gezielte Anpassungen an den Gelenkwinkeln vornimmt. Dabei werden die berechneten TCP-Abweichungen mithilfe inverser Kinematik in die erforderlichen Gelenkwinkel umgewandelt.Simulationen bestätigen die Robustheit des VO-Algorithmus unter verschiedenen Umgebungsbedingungen und Kameraeinstellungen. Die Ergebnisse zeigen, dass Faktoren wie Bildrauschen, 3D-Tiefendaten und die Anzahl der erkannten Merkmale das Signal-Rausch-Verhältnis (SNR) beeinflussen. Selbst bei einem Bildrauschen mit einer Standardabweichung von 1 Pixel und einer Tiefendatenverfügbarkeit von nur 20% können Abweichungen von 0.5 mm und 5 mrad zuverlässig erfasst werden.Experimente am Roboter unter Verwendung einer Trajektorie mit dynamischen Wendepunkten und einem flexiblen Endeffektor-Setup belegen die Effektivität des Systems.Die absolute Trajektorienabweichung (ATE) wird so innerhalb von 100 Iterationen von0.25 m und 0.3 rad auf unter 3 mm und 5 mrad reduziert.Das vorgeschlagene System ermöglicht so präzise Pick-and-Place-Aufgaben selbst mit flexiblen Roboterkomponenten

Collaborative robot enable direct human-robot interaction in shared workspaces, offering space efficiency and enhanced safety through lightweight components. However, these lighter and therefor less rigid components introduce significant trajectory deviations and accuracy limitations at the Tool Center Point (TCP). This thesis proposes a vision-based Iterative Learning Control (ILC) approach to compensate for both systematic kinematic and non-kinematic errors in repetitive tasks.The proposed approach follows a two-phase workflow: establishing ground truth and updating the trajectory. During the ground truth phase, images captured by an eye-in-hand camera are stored and used to construct a 3D map through triangulation. In the update phase, newly captured images are processed using an optimization-based monocular Visual Odometry (VO) algorithm to estimate deviations in the camera’s movement. Based on these deviations, a PD-type ILC iteratively refines the trajectory, improving accuracy over successive executions. To achieve this, the computed TCP deviations are converted into the required joint adjustments using inverse kinematics and the robot’s kinematic model.A simulation evaluation was conducted to assess the VO algorithm’s performance.The study examines how environmental conditions and camera selection affect there cognition of camera movement. The results show that noise, 3D depth data, and feature count significantly influence the detectable Signal-to-Noise Ratio (SNR) when used as an ILC input. Even with a noise standard deviation of 1 pixel and only 20%depth data availability, the SNR remains above 1, enabling the detection of deviations of 0.5 mm and 0.5 mrad.Further real-world experiments confirm these findings. For a given trajectory, with dynamic turning points and an added flexible end-effector setup the proposed approach effectively identifies and corrects both kinematic and non-kinematic errors in the end-effector’s positioning. It successfully reduces the Absolute Trajectory Error (ATE) of0.25 m and 0.3 rad to below 3 mm and 5 mrad over the course of 100 iterations. The proposed framework thus enables high-precision motion for predefined tasks, such asrepetitive pick-and-place applications, even with flexible error-prone robot components.