Boredom recognition in manufacturing tasks using physiological signals

Abstract

Technological progress has led to a continuous development of manufacturing as part of the industrial revolutions beginning in the 18th century. The transition from individual production to mass manufacturing increases the number of repetitive tasks intensified by automation. Humans, as part of cyber-physical production systems, are thus exposed to monotonous work, leading to the emotional perception of boredom. Boredom has been proven to have detrimental individual and organizational effects and is, therefore, an emotion to be avoided in manufacturing. Current methods of boredom avoidance are based questionnaires or assumptions on the causal relationship of monotony and boredom but not on the actual perception of boredom. On the other hand, affective computing with physiological signal acquisition by wearables has shown to be a reliable method for emotion recognition. This work hypothesizes recognizing boredom as an emotion in manufacturing using physiological signals. Therefore, it aims to identify relevant physiological signal types and derive applicable classification methods in the context of emotion recognition. The thesis intends to evaluate the achievable quality of a recognition model using an “in-the-wild” approach and discuss its use in manufacturing.A first boredom elicitation study is applied in the field environment of manufacturing while acquiring physiological signals of subjects. The subsequent implementation of a recognition model follows one classical machine learning and one neural network approach. The results of the study and the implemented models are used to assess the applicability of affective computing in manufacturing. The study results show an effective emotion elicitation in an exemplary manufacturing environment by self-selection and execution of tasks perceived as boring. An interpretable logistic regression model correctly identifies 60.48% of the boredom phases with an accuracy of 69.98% in a binary emotion classification using electrodermal features. Implementing a convolutional neural network outperforms the classical machine learning approach by correctly recognizing 77.45% of the boredom phases and an accuracy of 84.31% for the classification of two emotions.

Der technologische Fortschritt und die industriellen Revolutionen haben zu einer kontinuierlichen Weiterentwicklung der industriellen Fertigung seit dem 18. Jahrhundert geführt. Der Wandel von Einzelfertigung zur Massenproduktion und steigende Automatisierungsgrade resultieren in repetetiven Produktionstätigkeiten. Der Mensch, als Teil von cyber-physischen Produktionssystemen, ist somit monotoner Arbeit und der Empfindung von Langeweile ausgesetzt. Diese Langeweile wirkt sich nachteilig auf individueller und organisatorischer Ebene aus und ist daher eine zu vermeidende Emotion in der industriellen Produktion. Die derzeitigen Methoden zur Vermeidung von Langeweile basieren auf Fragebögen oder Annahmen über den kausalen Zusammenhang von Monotonie und Langeweile, nicht aber auf der individuellen Wahrnehmung von Langeweile. Dahingegen zeigt Emotionserkennung anhand physiologischer Signale vielversprechende Erfolge in der Wissenschaft. Die Hypothese dieser Arbeit ist, dass emotionale Langeweile in der industriellen Produktion anhand physiologischer Signale erkannt werden kann. Ziel ist es, relevante physiologische Signaltypen zu identifizieren und anwendbare Klassifikationsmethoden im Kontext der Emotionserkennung abzuleiten. In dieser Arbeit soll die erreichbare Qualität eines Erkennungsmodells evaluiert und dessen Einsatz in der Produktion diskutiert werden. Dazu wird eine erste Studie zur Erkennung von Langeweile in einer Produktionsumgebung durchgeführt und physiologische Signale von Probanden mittels eines Sensorarmbands erfasst. Die anschließende Implementierung von Klassifikationsmodellen folgt einem klassischen maschinellen Lern- und einem neuronalen Netzwerkansatz. Die Ergebnisse der Studie und die implementierten Modelle werden verwendet, um die Anwendbarkeit von Emotionserkennung in der industriellen Fertigung zu bewerten.Die Studienergebnisse zeigen eine effektive Emotionsinduktion durch Auswahl und Ausführung von als langweilig empfundenen Aufgaben in einer Produktionssumgebung. Ein logistisches Regressionsmodell identifiziert 60,48% der Langeweilephasen korrekt mit einer Genauigkeit von 69,98% in einer binären Emotionsklassifikation anhand elektrodermaler Merkmale. Die Implementation eines neuronalen Faltungsnetzwerks übertrifft den Ansatz des klassischen maschinellen Lernens, indem es 77,45% der Langeweilephasen korrekt erkennt und eine Genauigkeit von 84,31% bei der Klassifizierung von zwei Emotionen erreicht.