Mobile collaborating robots for direct haptics in mixed reality

Abstract

Nach Weiterentwicklungen im Bereich der Computergrafik und der Miniaturisierung von elektronischen Schaltkreisen findet die Technologie der virtuellen Realität (VR) erstmals Zugang zu einem breiten Publikum. Kommerzielle VR-Systeme, wie die Vive Pro von HTC, erlauben es ihren Trägern beziehungsweise Trägerinnen virtuelle Welten in Bild und Ton in einem Ausmaß zu erleben, der ihnen realistisch genug erscheint darin einzutauchen (Immersion). Bei der Interaktion mit ihrer virtuellen Umgebung wird jedoch schnell ein Defizit bemerkbar, und zwar, dass diese keine physischen Eigenschaften oder haptisches Feedback abseits der Eingabegeräte bietet. Zusätzliche, am Körper zu tragende Geräte, wie Ganzkörperanzüge oder Exoskelette, bieten nur eingeschränkte haptische Möglich- keiten oder minimalen Tragekomfort durch überhöhtes Gewicht. Haptische Konzepte, denen Benutzer und Benutzerinnen im Simulationsbereich begegnen können, sind oftmals an einen räumlichen Ort gebunden oder unterstützen, aufgrund der hohen Mobilität geschuldeten leichten Bauweise, nur leichte Berührungshaptik. Diese Diplomarbeit nimmt sich daher dieser Thematik an und beschreibt Konzeption und Implementation eines VR-Systems, das haptisches Feedback in Raumgröße ermöglicht. Es wird gezeigt, wie ein mobiler Manipulator des Typs RB-Kairos in Kombination mit dem Virtual-Reality- Headset Vive Pro verwendet werden kann, um Benutzern und Benutzerinnen physische Requisiten im Rahmen einer VR-Anwendung zur Verfügung zu stellen und haptische Sinneseindrücke zu vermitteln. So wurde die Lighthouse-Trackinglösung der Vive Pro in den RB-Kairos integriert, um die Positionsbestimmung des Roboters im selben Kontext wie dem Headset zu ermöglichen. Als Softwaregrundgerüst wird das Robot Operating System (ROS) verwendet, das bereits für die Steuerung des Roboters und seiner Komponenten verantwortlich ist und zur Bereitstellung der Haptik um neue Module erweitert wird. Im Bereich der virtuellen Realität kommt das Spiele-Framework Unity zum Einsatz, das durch entsprechende Plugins die einfache Erstellung von VR-Anwendungen ermöglicht. Die Kommunikation zwischen VR-Anwendung, Roboter und Benutzer beziehungsweise Benutzerinnen erfolgt kabellos und ermöglicht diesen eine uneingeschränkte Mobilität innerhalb des Versuchsraums. Die anschließende technische Evaluierung beantwortet Fragen zu den Betriebsparametern des Systems und listet Verbesserungspotential und Erweiterungsmöglichkeiten auf.

After technological advancements in computer graphics and miniaturization of electric circuits, virtual reality has finally found its way into the consumer market. Commercial VR systems like HTC ’s Vive allow their wearers to experience virtual worlds realistically enough to feel audio-visually immersed. However, when interacting with the simulated environment, the limitations of such a system become apparent quickly. They offer no haptic capabilities or feedback beyond what is integrated in their hand-held input devices. Additional body-worn equipment, like haptic suits or exoskeletons, deliver only rudimentary haptic experiences or encumber the user’s ease of movement with excessive weight. Haptic hardware of the ‘encounter’ type are often constrained to a specific location within the simulation area or deliver only soft touching sensations because of their highly mobile but fragile architecture. Therfore, this thesis covers the topic of creating a VR system with haptic feedback and describes its design and implementation in a room sized setup. The paper shows how a mobile manipulator, like the RB-Kairos, can be combined with a virtual reality headset, like the Vive, to deliver real world props into the hands of users to enhance their virtual experience. To track the manipulator’s position with the same accuracy of the VR headset, the Vive’s Lighthouse tracking solution is integrated into the robot. On the software side, the system takes advantage of the Robot Operating System (ROS), which is already configured to control the robot’s basic functionality and is extended to include new modules handling the deliverance of haptic sensations. The simulation of the visual part of this project is handled by the gaming engine Unity, which features a variety of plugins suitable to create basic VR applications with minimal effort. The communication between VR application, RB-Kairos and user is handled wirelessly via radio signals which allows unrestricted mobility for participants and robots within the simulation area. The subsequent technical evaluation offers insights to operating parameters and lists potential enhancement and upgrade possibilities.