Teleoperation of a humanoid robot using oculus rift and leap motion

Abstract

In dieser Arbeit wird ein System vorgestellt, um einen humanoiden Roboter von einem entfernten Ort aus zu steuern. Teleoperierte Roboter werden in Umgebungen eingesetzt, die für Menschen nicht zugänglich sind, um Aufgaben zu erfüllen, die ein Roboter nicht autonom verrichten kann. Teleoperation per Tastatur, Joystick und Bildschirm ist aufgrund der vielen Freiheitsgrade eines humanoiden Roboters umständlich. Beim vorgestellten System imitiert der Roboter die Bewegungen des Oberkörpers des Benutzers, welcher die Umgebung des Roboters aus dessen Perspektive wahrnimmt. Der Fokus liegt darauf, eine intuitive Art der Steuerung mit günstiger Unterhaltungselektronik umzusetzen: die Oculus Rift Virtual-Reality-Brille und der Leap Motion 3D Hand-Tracking Sensor. Die Kamerabilder des Roboters werden in der Oculus Rift dargestellt, die auch die Orientierung des Kopfes misst. Die gemessen Pose des Kopfes wird auf den Roboter übertragen. Damit beeinflusst der Benutzer die Kamerarichtung auf eine natürliche Weise. Wir stellen eine Möglichkeit zur Darstellung des Videos in einer virtuellen Welt vor, um Unwohlsein zu vermeiden. Die Armbewegungen des Benutzers werden mit der Leap Motion gemessen. Wir berechnen die nötigen Gelenkwinkel aus den Messungen der Gelenkpositionen und der Richtungsvektoren so, dass der Roboter die Stellung des Armes imitiert. Das System ist in der Lage, menschliche Bewegungen mit hoher Präzision und niedriger Latenz zu imitieren. Es wurde für die humanoiden Roboter Romeo und Pepper der Firma SoftBank Robotics implementiert. Über 100 Personen pro Roboter haben das System bereits getestet. Jeder von ihnen konnte innerhalb kürzester Zeit, ohne jegliches Training, den Oberkörper der Roboter kontrollieren.

This thesis presents a system to operate a humanoid robot from a distance. Teleoperated robots are used in environments inaccessible to humans for tasks which cannot be performed autonomously. Because of the many degrees of freedom of humanoid robots, manual teleoperation methods with keyboards, joysticks and screens are cumbersome to use. The introduced solution is a first-person teleoperation application where the robot imitates the movements of the user's upper body. The focus is on providing an intuitive user experience with commercially available consumer-grade electronics: the Oculus Rift virtual- reality headset with the Leap Motion 3D hand tracking sensor mounted. The user receives visual feedback from the robot's cameras inside the Oculus Rift which tracks the user's head pose. The robot¿s head pose and therefore the camera direction is controlled intuitively by the user turning his head. We introduce a method for a representation of the video feed in a virtual 3D space to avoid cyber-sickness. The user's arm movements are tracked by the Leap Motion sensor. We derive the necessary robot joint angles for natural imitation of the user¿s arm posture from the tracked joint positions and direction vectors. The system is able to imitate human motions with high precision and low latency. It was implemented for the humanoid robots Romeo and Pepper manufactured by SoftBank Robotics. Over 100 users tested the system with each robot. Each of them was able to control the robots' upper-body within seconds without any training.