Safe Position Control of an Encountered-Type Haptic Display through Reinforcement Learning

Abstract

Haptisches Feedback ist ein zentraler Bestandteil immersiver Virtual-Reality-Erlebnisse. Herkömmliche Handcontroller können jedoch nur eingeschränkt realistische Berührungen vermitteln. Mobile Encountered-Type Haptic Displays (mETHDs) setzen hier an: Sie positionieren physische Objekte autonom und „just-in-time“, sodass Nutzer reale Objekte genau dann ertasten können, wenn sie diese in der virtuellen Umgebung erwarten. Die sichere Navigation dieser Roboter in unmittelbarer Nähe von VR-Nutzern, die ein Head-Mounted Display (HMD) tragen, stellt jedoch eine anspruchsvolle Herausforderung dar.In dieser Arbeit wird ein End-to-End-Framework auf Basis von Deep Reinforcement Learning (DRL) vorgestellt, das die sichere und reaktionsschnelle Positionierung eines mETHD sowohl in Einzel- als auch in Mehrbenutzerszenarien ermöglicht.Das entwickelte System verarbeitet 2D-LiDAR-Daten mithilfe eines 1D Convolutional Neural Networks, um robuste Hindernisvermeidung sicherzustellen. Um die erhöhte Komplexität durch mehrere Benutzer zu bewältigen, wird das Steuerungsproblem in hierarchische Teilprobleme zerlegt: Eine strategische Policy schätzt die Nutzungsabsicht der VR-Nutzer ab, während eine Navigationspolicy die sichere Bewegung des Roboters ausführt. Quantitative Evaluationen in Simulationen zeigen, dass der DRL-Ansatz klassischen statischen oder heuristischen Baselines sowohl im Einzel- als auch im Mehrbenutzerfall deutlich überlegen ist. Die erlernten Policies reduzierten sicherheitskritische Eingriffe um über 88% und verbesserten die Positionierungszeiten für haptische Interaktionen bis um das Sechsfache. Diese Leistungsgewinne werden durch hochfrequente, proaktive Steuerung ermöglicht, die einen sicheren Betrieb des mETHD in unmittelbarer Nähe von Menschen erlaubt.Über VR-Anwendungen hinaus schaffen die in dieser Arbeit entwickelten Methoden eine Grundlage für intelligente, proaktive Robotersysteme, die sicher und zuverlässig in Mensch-Roboter-Interaktionsszenarien eingesetzt werden können.

Haptic feedback is essential for immersive Virtual Reality (VR) experiences, yet traditional handheld controllers offer limited tactile realism. Mobile Encountered-Type Haptic Displays (mETHDs) address this by autonomously positioning physical props to enable realistic touch interactions "just-in-time". However, safely navigating these robots around users wearing Head-Mounted Displays presents a significant control challenge. This thesis proposes an end-to-end Deep Reinforcement Learning (DRL) framework for the safe and responsive positioning of a mETHD in both single and multi-user scenarios.The proposed architecture processes 2D LiDAR data via a 1D Convolutional Neural Network to ensure robust obstacle avoidance. To manage the complexity of multi-user environments, the control problem is decomposed into hierarchical policies: a strategic policy that predicts user intent and a navigation policy that executes safe movement. Quantitative evaluation in simulation demonstrates that the DRL approach significantly outperforms traditional static and heuristic baselines in both single and multi-user scenarios. The learned policies reduced safety-critical interventions by over 88% and improved haptic positioning times by up to 6x. These gains are achieved through high-frequency proactive control, which allows the mETHD to operate safely in close proximity to users. Beyond immersive environments, the methodologies presented here lay the groundwork for intelligent, proactive robotic systems capable of operating safely alongside humans in broader Human-Robot Interaction contexts.