Software platform for a modular collaborative robot : Simulating a robot in augmented reality

Abstract

An der Technischen Universität Wien wird ein neuartiger kollaborativer Roboter entwickelt. Er besteht aus mehreren Modulen, die ausgetauscht werden können, wodurch der Roboter komplett neu konfiguriert werden kann. Der Austausch der Module erfolgt in einem Plug-N-Play-Verfahren, ohne dass eine Neukonfiguration oder ein Neustart des Systems erforderlich ist. Außerdem sollen je nach aktueller Hardwarekonfiguration unterschiedliche Aufgaben zur Verfügung stehen. Dieser Roboter soll nicht nur für industrielle Zwecke, sondern auch für Lehr- und Versuchszwecke eingesetzt werden. Die Nutzer dieser Anwendung sind nicht nur Experten in Robotik, Maschinenbau oder Softwareentwicklung, sondern auch Personen ohne jegliche Vorkenntnisse in diesen Bereichen. Ziel dieser Arbeit ist es, eine Softwareplattform für den modularen kollaborativen Roboter zu entwickeln, die sowohl von Experten als auch von Nichtexperten genutzt werden kann. Der Austausch von Modulen ist ein einfacher Vorgang und erfordert keine Änderungen am Code durch den Benutzer. Zusätzlich werden dem Benutzer die Aufgaben, die auf der ausgewählten Hardware basieren, angezeigt. Für die Implementierung wird Robot Operating System (ROS) zusammen mit Unity® verwendet. Überdies wird die Software in Augmented Reality (AR) Umgebung entwickelt, die eine 3D-Interaktion zwischen dem Benutzer und dem digitalen Zwilling des Roboters in Echtzeit ermöglicht. Um dies zu erreichen, wird Microsoft® HoloLens 2 verwendet. Nach der Implementierung der Software wird in AR eine Benutzerstudie mit 28 Teilnehmern ohne Vorkenntnisse in der Robotik durchgeführt. Um die Benutzerfreundlichkeit und -erfahrung der Software sowie die kognitive Belastung durch die Interaktion mit verschiedenen Softwarekomponenten zu untersuchen, wird das subjektive Feedback der Teilnehmer gesammelt. Die Analyse dieser Erhebung zeigt, dass dieser neuartige Ansatz gut akzeptiert wird, einfach zu bedienen ist, sowie eine höhere Dimension von Realismus in die Robotersimulation bringt.

A novel collaborative robot is being developed at the Technical University of Vienna. It is built out of multiple modules, which can be exchanged and thus the robot can be completely reconfigured. The exchange of the modules is done in a Plug-N-Play way without any need of reconfiguration or restart of the system. Moreover, different tasks should be available, based on the current hardware configuration. This robot would be used not only for industrial purposes, but also for educational and experimental. The users of this application are not only experts in robotics, mechanical engineering or software development, but also people without any prior knowledge of these fields. The aim of this thesis is to create a software platform for the modular collaborative robot, which can be used by experts and non-experts as well. The modules’ exchange is a simple action and does not require any code changes by the user. Moreover, the tasks, based on the selected hardware, are displayed to the user. For the implementation Robot Operating System (ROS) is used together with Unity®. Furthermore, the software is developed in Augmented Reality (AR) environment, enabling a 3D interaction between the user and the digital twin of the robot in real time. To achieve this Microsoft® HoloLens2 is used. After implementing the software, a user study is conducted in AR with 28participants without prior knowledge of robotics. To investigate the usability and user experience of the software, as well as the cognitive workload of interacting with different software components, subjective feedback from the participants is collected. Analysis of the results proves that this novel approach is well accepted and easy to use, bringing a higher dimension of realism in the robot simulation.