Online trajectory planning in bounded cartesian space for robot manipulators

Abstract

The field of robotics is continually evolving to build and control robots that are able to act in unknown and dynamic environments such as households, streets, or open terrain. This presents many challenges for their motion planning as robots have traditionally been used in controlled industrial settings. Acting and reacting in homes and around humans requires quick decision-making and fast motion planning to execute these decisions. This is particularly challenging for serial manipulators, as they have complicated kinematics and dynamics that need to be taken into account during planning. Furthermore, collision avoidance and task-specific constraints, e.g., keeping a filled cup upright, need to be adhered to. Otherwise, the robot may not be able to finish the task successfully.This work deals with the development of an online motion planner for robot manipulators. The motion-planning problem is considered as a two-step procedure: First a bounded Cartesian reference path is planned, and second, a joint trajectory is computed that follows the path and stays within the bounds, looking ahead over a finite time horizon. The reference path guides the finite-horizon trajectory planning to the goal. This separation enables real-time motion planning. The flexibility of the constraint formulation further allows a learning-based task planner to effectively communicate constraints to the motion planner.The trajectory planner, referred to as BoundMPC, computes a joint trajectory using online optimization with a receding time horizon. BoundMPC follows a reference path with asymmetric bounds in the position and orientation by splitting the path error into tangential and orthogonal components. For the orientation path error, a formulation based on the Lie algebra of orientations enables an efficient and sufficiently accurate decomposition. Extensive experiments on a Kuka LBR iiwa 14 R820 manipulator demonstrate the advantages of BoundMPC over the state of the art. Specifically, the deviations from the reference path within the path bounds make it possible to find trajectories that account for the robot's kinematics. Furthermore, it is shown that a Cartesian reference path is required for solving Cartesian tasks such as wiping over a table. BoundMPC is successfully applied to human-robot object handovers, showcasing the ability to adapt to uncertain and dynamic environments.To provide BoundMPC with a suitable reference path, this work proposes the concept called BoundPlanner. Based on a graph of Cartesian convex sets, BoundPlanner computes a bounded piecewise linear reference path. This approach is real-time capable, as Cartesian convex sets are computationally efficient. The reference path ensures collision freedom of the end-effector while convex sets around key points of the robot avoid collisions of the remaining robot. This planner is demonstrated in two scenarios in combination with BoundMPC. The first scenario showcases that safe motions are possible in highly constrained environments, and the second scenario focuses on real-time replanning capabilities. It surpasses the state of the art by replanning faster and finding safer, i.e., collision-free, solutions with a higher success rate.Lastly, the combination of BoundPlanner and BoundMPC is embedded into a modular planning framework to plan motions from natural language input. An LLM module understands the tasks and coordinates with the vision module and motion planning module to solve the task. It is possible for the LLM to effectively communicate task constraints to the motion planner. This framework outperforms the state of the art in terms of task success rate and number of collisions with obstacles.

Das Gebiet der Robotik entwickelt sich immer mehr in Richtung des Baus und der Steuerung von Robotern, die in der Lage sind, in unbekannten und dynamischen Umgebungen wie Haushalten, Straßen oder im freien Gelände zu agieren. Dies stellt viele Herausforderungen an ihre Bewegungsplanung, da Roboter traditionell in kontrollierten industriellen Umgebungen eingesetzt werden. Das Handeln und Reagieren in Wohnungen und in der Nähe von Menschen erfordert schnelle Entscheidungsfindung und rasche Bewegungsplanung, um auf diese Entscheidungen zu reagieren. Dies ist besonders schwierig für serielle Manipulatoren, da sie eine komplizierte Kinematik und Dynamik aufweisen, die während der Planung berücksichtigt werden muss. Darüber hinaus müssen Kollisionsvermeidung und aufgabenspezifische Beschränkungen, z.B. das Aufrechthalten einer gefüllten Tasse, eingehalten werden. Andernfalls kann der Roboter die Aufgabe nicht erfolgreich abschließen.Diese Arbeit befasst sich mit der Entwicklung eines neuen Online-Bewegungsplaners für Robotermanipulatoren. Das Bewegungsplanungsproblem wird als zweistufiges Verfahren betrachtet: Zuerst wird ein begrenzter kartesischer Referenzpfad geplant und dann wird eine Gelenkbahntrajektorie berechnet, die dem Pfad folgt und innerhalb der vorgegebenen Grenzen bleibt, wobei über einen endlichen Zeithorizont vorausgeschaut wird. Der Referenzpfad führt die Trajektorienplanung mit endlichem Horizont zum Ziel. Diese Trennung ermöglicht Bewegungsplanung in Echtzeit. Die flexible Formulierung von Beschränkungen ermöglicht es einem lernbasierten Task-Planer, Anforderungen effizient und präzise an den Bewegungsplaner zu übermitteln. Der Trajektorienplaner, genannt BoundMPC, berechnet eine Gelenkstrajektorie mittels Online-Optimierung mit einem zurückweichenden Zeithorizont. BoundMPC folgt einem Referenzpfad mit asymmetrischen Grenzen in Position und Orientierung, indem der Pfadfehler in tangentiale und orthogonale Komponenten aufgeteilt wird. Für den Orientierungspfadfehler ermöglicht eine Formulierung auf Basis der Lie-Algebra von Orientierungen eine effiziente und hinreichend genaue Zerlegung. Umfangreiche Experimente an einem KUKA LBR iiwa 14 R820 Manipulator demonstrieren die Vorteile von BoundMPC gegenüber dem Stand der Technik. Insbesondere machen die Abweichungen vom Referenzpfad innerhalb der Pfadgrenzen es möglich, Trajektorien zu finden, die die Kinematik des Roboters berücksichtigen. Darüber hinaus wird gezeigt, dass ein kartesischer Referenzpfad für die Lösung kartesischer Aufgaben wie das Wischen über einen Tisch erforderlich ist. BoundMPC wird auch erfolgreich bei der Übergabe von Objekten zwischen Mensch und Roboter eingesetzt und zeigt die Möglichkeit, sich an eine unsichere und dynamische Umgebung in Echtzeit anzupassen.Um einen geeigneten Referenzpfad für BoundMPC zu berechnen, schlägt diese Arbeit das Konzept unter dem Namen Boundplanner vor. Basierend auf einem Graphen kartesischer kollisionsfreier konvexer Mengen berechnet BoundPlanner einen begrenzten stückweise linearen Referenzpfad. Dieser Ansatz ist echtzeitfähig, da kartesische konvexe Mengen schnell zu berechnen sind. Der Referenzpfad gewährleistet Kollisionsfreiheit des Endeffektors, während konvexe Mengen um ausgewählte Schlüsselpunkte des Roboters Kollisionen des übrigen Roboters vermeiden. Dieser Planer wird in zwei Szenarien in Kombination mit BoundMPC demonstriert. Das erste Szenario zeigt, dass sichere Bewegungen in stark eingeschränkten Umgebungen möglich sind, und das zweite Szenario konzentriert sich auf die Echtzeitfähigkeit der Planung während der Bewegung. Er übertrifft den Stand der Technik durch schnellere Planung und findet sicherere, d.h. kollisionsfreie, Lösungen mit einer höheren Erfolgsrate.Schließlich wird die Kombination von BoundPlanner und BoundMPC in ein modulares Planungsframework eingebettet, um Bewegungen mittels menschlicher Sprache zu planen. Ein LLM-Modul interpretiert die Sprache und koordiniert mit dem Vision-Modul und dem Bewegungsplanungsmodul, um die Aufgabe zu lösen. Es ist möglich für das LLM, Aufgabenbeschränkungen effektiv an den Bewegungsplaner zu kommunizieren. Dieses Framework übertrifft den Stand der Technik in Bezug auf die Erfolgsrate der Aufgaben und die Anzahl der Kollisionen mit Hindernissen.