Detection of safety-critical mental states in HRI using physiological signals

Abstract

Industrieroboter arbeiten in der Fertigung zunehmend mit Menschen zusammen, wobei die Mensch-Roboter-Interaktion (HRI) eine entscheidende Rolle spielt. Da die Automatisierung und die Robotertechnologie weiter voranschreiten, ist die Gewährleistung der Sicherheit in der HRI aufgrund von Risiken wie Einklemmungen, Kollisionen und Umweltgefahren von entscheidender Bedeutung. Traditionelle Sicherheitsmaßnahmen sind in kollaborativen Umgebungen oft unpraktisch, und Sicherheitsbedenken ergeben sich häufig aus unvorhersehbarem menschlichem Verhalten und emotionalen Zuständen. Negative Emotionen wie Stress und Ablenkung können die Erkennung von Gefahren und die Entscheidungsfindung beeinträchtigen, was zu unsicheren Handlungen führt. Während sich bestehende Methoden zur Erkennung von Emotionen auf grundlegende Emotionen konzentriert haben, wurde der Erkennung sicherheitskritischer mentaler Zustände in der HRI weniger Aufmerksamkeit geschenkt. Diese Arbeit zielt darauf ab, die Sicherheit durch die Erkennung dieser Zustände zu verbessern und zeigt auf, wie eine solche Erkennung die Mensch-Roboter-Kollaboration verbessern kann. Zunächst werden die theoretischen Grundlagen von HRI, emotionalen Zuständen und affektiver Datenverarbeitung erforscht, um zu verstehen, wie Emotionen wie Furcht, Angst, Stress, Frustration und Überraschung Interaktionen und Sicherheit beeinflussen. Ein Überblick über Emotionserkennungsansätze in der HRI, insbesondere solche, die physiologische Signale verwenden, hebt die Effektivität sowohl traditioneller Machine-Learning-Methoden als auch von Deep-Learning-Modellen wie Support Vector Classifiers und Convolutional Neural Networks hervor. Es folgte ein Experiment, bei dem die physiologischen Reaktionen der Teilnehmer (GSR, BVP und Hauttemperatur) aufgezeichnet wurden, während sie mit einem Roboterarm interagierten, und emotionale Reize gesetzt wurden, um sicherheitskritische Zustände wie Stress und Angst hervorzurufen. Die gesammelten Daten wurden dann verwendet, um einen Klassifikator für emotionale Zustände zu trainieren. Die Ergebnisse der Analyse zeigen, dass sicherheitskritische emotionale Zustände in der HRI effektiv erkannt werden können, wobei die Klassifizierung für Grundstimmung, Frustration und Stress besser ausfiel, während Angst und Überraschung größere Herausforderungen darstellten. Diese Ergebnisse verdeutlichen das Potenzial der Emotionserkennung zur Verbesserung der Sicherheit in der Mensch-Roboter-Kollaboration und bieten eine Grundlage für zukünftige Fortschritte in diesem Bereich.

Industrial robots are increasingly working alongside humans in manufacturing, where Human-Robot Interaction (HRI) plays a crucial role. As automation and robotics technology continue to advance, ensuring safety in HRI is essential due to risks such as entrapment, collisions, and environmental hazards. Traditional safety measures are often impractical in collaborative settings, and safety concerns frequently arise from unpredictable human behavior and emotional states. Negative emotions, like stress and distraction, can impair hazard recognition and decision-making, leading to unsafe actions. While existing emotion detection methods have focused on basic emotions, less attention has been given to detecting safety-critical mental states in HRI. This work aims to improve safety by detecting these states, offering insights into how such detection can enhance human-robot collaboration. At first, the theoretical foundations of HRI, emotional states, and affective computing are explored to understand how emotions like fear, anxiety, stress, frustration, and surprise influence interactions and safety. A review of emotion recognition approaches in HRI, particularly those using physiological signals, highlights the effectiveness of both traditional Machine Learning methods and Deep Learning models, such as Support Vector Classifiers and Convolutional Neural Networks, respectively. An experiment followed, where participants’ physiological responses (GSR, BVP, and skin temperature) were recorded while interacting with a robotic arm, and emotional triggers were introduced to elicit safety-critical states like stress and fear. The collected data was then used to train an emotional state classifier. Based on the analysis, the results demonstrate that safety-critical emotional states in HRI can be effectively detected, with stronger classification for baseline, frustration, and stress, while fear and surprise were more challenging. These findings highlight the potential of emotion recognition to improve safety in human-robot collaboration and provide a foundation for future advancements in the field.