A Virtual Reality Interface for Teleoperating Mobile Robots in Exploratory Tasks

Abstract

Human-Robot Interaction (HRI) beschäftigt sich mit der Zusammenarbeit von Mensch und Roboter, welche durch die fortschreitende Automatisierung immer mehr an Bedeutung gewinnt. Die stetige Entwicklung in der Robotik eröffnet immer mehr Einsatzmöglichkeiten, wohingegen die Steuerung durch den Menschen weiterhin eine Hürde darstellt. Insbesondere die Fernsteuerung von Robotern durch den Mensch über Distanzen hinweg, erfordert besondere Mittel. Die Darstellung der Roboter-Umgebung in einer anschaulichen Form stellt dabei eine zentrale Herausforderung dar. Traditionelle Methoden über 2D-Bildschirme für die Anzeige der Inhalte, sowie die Steuerung über Maus und Tastatur stoßen dabei an ihre Grenzen. Um diese Herausforderungen zu überwinden, benötigt es immersive Technologien wie Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR), welche innovative Ansätze für die Visualisierung und Steuerung ermöglichen. In dieser Arbeit wird ein System zur Fernsteuerung eines mobilen Roboters in einer realen Umgebung mittels VR vorgestellt. Grundlage hierfür ist eine Echtzeit 3D-Rekonstruktion aus den Bilddaten der am Roboter montierten Kamera. Die Darstellung der Umgebung in VR wurde mit der Unity3D Spiel-Engine entwickelt. Es wurden zwei Navigationsmetaphern implementiert, die den ausführenden Personen ermöglichen, einen physischen Roboter in der virtuellen Darstellung der realen Umgebung zu steuern. Eine Benutzerstudie wurde durchgeführt, um die Performance, die Benutzerfreundlichkeit und die Intuitivität der beiden Metaphern zu erheben und zu vergleichen. Die Aufgabe der Benutzerstudie bestand darin, den Roboter zu navigieren und die Umgebung nach dem Ziel abzusuchen. Die Ergebnisse zeigten signifikante Unterschiede in der objektiven Performance, aber nahezu keine Abweichung in der subjektiven Wahrnehmung. Beide Metaphern erwiesen sich als geeignet für die Fernsteuerung eines mobilen Roboters in VR.

Human-robot interaction (HRI) deals with the interaction between humans and robots, which is becoming increasingly important as automation progresses. The ongoing development in robotics is opening up more and more possible applications, whereas human control continues to pose a challenge. In particular, the remote control of robots by humans over distances requires special means. The visualization of the robot's environment represents a central challenge. Traditional methods using 2D screens to display content and mouse and keyboard to control the robot reach their limits. Overcoming this challenge requires immersive technologies such as Virtual Reality (VR), Augmented Reality (AR) or Mixed Reality (MR), which enable innovative approaches to visualization and control. This thesis presents a system for teleoperating a mobile robot in a real environment using VR. The basis for this is a real-time 3D reconstruction from the image data of a camera mounted on the robot. The system for visualizing the environment and controlling the robot in VR was developed using the Unity3D game engine. Two navigation metaphors were implemented to enable human operators to control a physical robot in the virtual representation of the real environment. A user study was conducted to assess and compare the performance, usability, and intuitiveness of both metaphors. The task of the user study was to navigate the robot and to investigate the environment to find the target point. The results showed significant differences in objective performance, but almost no deviation in subjective perception. Both metaphors proved to be suitable for the teleoperation of a mobile robot in VR.