Grasping Reality: Simulation to Reality Transfer of Pick-and-Place Policies

Abstract

Diese Arbeit beschäftigt sich mit dem Transfer von Pick-and-Place-Strategien für robotische Manipulationsaufgaben, von der Simulation zur Realität. Pick-and-Place ist einegrundlegende Operation in der Robotik, die es autonomen Agenten ermöglicht, mit ihrerUmgebung zu interagieren. Die Transporter-Networks-Architektur ist ein Deep-LearningFramework für Pick-and-Place Manipulationsaufgaben in der Robotik. Im Gegensatz zufrüheren Ansätzen ermöglicht diese Architektur die Generalisierung zu neuen Umgebungen,von einer geringen Anzahl an Demonstrationen. Aufgrund der geringen Anzahl benötigterDemonstrationen wurden Transporter Networks in bisherigen Arbeiten vor allem mitmanuellen menschlichen Demonstrationen trainiert. In dieser Arbeit untersuchen wir denEinsatz dieser effizienten Architektur im Kontext von Simulation-zu-Realitäts-Transfer.Dazu wird die Transporter Networks-Architektur durch Anpassungen des Trainingsprozesses und Hinzufügen von Datenaugmentation erweitert. Für die Generierung vonsynthetischen Trainingsdaten nutzen wir die Nvidia Omniverse-Plattform. Eine entwickelte Pipeline zur Datengenerierung ermöglicht die Erzeugung randomisierter Datensätzeaus 3D-Modellen mit minimalen händischen Eingriffen. Um die Effektivität der entwickelten Domain Randomization und Transformations-Methoden zu bewerten, werden zweiAufgaben genutzt. Zum einen wird das Greifen eines Quaders getestet und zum anderenwird eine komplexere Schuh-Sortier-Aufgabe, die eine Generalisierung, auf im Trainingnicht vorhandene Objekte, evaluiert. Die Ergebnisse zeigen, dass die Transformation vonTiefendaten für einen erfolgreichen Simulations-zu-Realitäts-Transfer entscheidend ist.Transformationen und Randomisierungen, die die Farbe beeinflussen, haben hingegennur minimale Auswirkungen auf die Erfolgsrate. Für die Schuh-Sortier-Aufgabe erreichen die trainierten Modelle eine Erfolgsrate von 78,6% für Pick-Operationen und 75,0%für Place-Operationen bei einer Validierung mit realen Pointclouds und unbekanntenObjekten. Dies zeigt, dass die Netzwerke erfolgreich generalisieren, obwohl für das Training ausschließlich synthetische Daten und nur 20 3D-Modelle genutzt werden. DieseArbeit demonstriert die erfolgreiche Anwendung der Transporter Networks-Architekturin einem Simulations-zu-Realitäts-Transfer Szenario. Die entwickelten Methoden bieteneinen vielversprechenden Ansatz für effizientes Training von Pick-and-Place Aufgaben inSimulation.

This thesis investigates simulation-to-reality transfer of pick-and-place policies. Pick-andplace is a fundamental operation in robotics, allowing autonomous agents to interactwith their environment. The Transporter Networks architecture is a recently proposeddeep learning framework for robotic manipulation tasks, that combines high sampleefficiency with good generalization capabilities. Due to the high sample efficiency, previouswork has demonstrated the effectiveness of Transporter Networks mainly using humandemonstrations. In this thesis, we extend the Transporter Networks architecture to asim-to-real transfer setting. We enhance the Transporter Networks architecture withadaptations to the training procedure and apply state-of-the art augmentation techniques.For synthetic data generation, we utilize the Nvidia Omniverse platform, which offersa combination of photorealistic rendering capabilities with a high-performance physicssimulation. Our developed synthetic data generation pipeline allows for the generationof large-scale, domain randomized, pick-and-place datasets from a set of 3D models. Toevaluate the effectiveness of the developed methods, we use a simple box-picking task anda more complex shoe-sorting task, which involves generalization to unseen objects. Theresults indicate that augmenting depth data is crucial for successful sim-to-real transferusing RGB-pointclouds. In the evaluated tasks, augmentations and randomizationsaffecting color have minimal impact on performance. The trained models achieve anestimated success rate on real data of 78.6% for pick operations and 75.0% for placeoperations on the shoe-sorting task. Thus, we demonstrate successful generalization tounseen objects despite being trained exclusively on synthetic data with only 20 individual3D models. To our knowledge, this thesis presents the first application of TransporterNetworks in a sim-to-real setting, offering a promising approach for efficient simulation-toreality transfer of robotic manipulation tasks.