Robo-Smile: Development of a facial expression feedback system for an emotion learning platform for children with ASD

Abstract

Bei einem von vierundfünfzig Kindern wird eine Autismus-Spektrum-Störung (ASS) diagnostiziert. ASS ist eine neurologische Entwicklungsstörung, die mit sozialen Kommunikationsproblemen, Schwierigkeiten bei der sozialen Interaktion, sowie eingeschränkten und sich wiederholenden Verhaltensmustern einhergeht. Probleme im Sozialverhalten sind mit Schwierigkeiten bei der Erkennung von Emotionen in Gesichtsausdrücken anderer und dem Ausdrücken von Emotionen in der eigenen Mimik verbunden. Diese Arbeit beschreibt die Implementierung eines computergestützten Emotions-Feedback-Systems als Teil einer Lernplattform zur Förderung des Sozialverhaltens, mit der das Erkennen und Nachahmen von Emotionen in Gesichtsausdrücken trainiert wird. Das Spiel basiert auf einer früheren Arbeit zur Entwicklung eines pädagogischen Konzepts und Prototyps für ein computergestütztes Emotionslernspiel, welches auf die neurologischen Bedürfnisse von Kindern mit ASS zugeschnitten ist. Diese Arbeit befasst sich mit der Entwicklung einer Webcam-gestützten Emotionserkennung, welche kontinuierliches Feedback über die ausgedrückte Emotion in der Mimik des Kindes ermöglicht. Um den Kontroll-Algorithmus optimal auf die neurologischen Bedürfnisse von Kindern mit ASS zuzuschneiden, basiert die Emotionserkennung ausschließlich auf zuvor detektierten Orientierungspunkten im Gesicht. Darüber hinaus sind Limitierungen der Rechenzeit des Feedback-Systems essenziell, da die Erkennung ohne Verzögerung oder Pausieren des Webcam-Streams auf älteren oder schwächeren Computern laufen sollte, um das System für eine Vielzahlan Eltern, Betreuerinnen und Betreuern verfügbar zu machen. Da die Zielgruppe der Plattform Kinder sind, muss die Erkennung in der Lage sein, genaue Ergebnisse zu liefern, selbst wenn die Spielerin oder der Spieler unruhig ist, sich dreht oder bewegt. Daher wird spezieller Wert darauf gelegt, dass die Gesichtspunkte- und Emotionserkennung gegenüber einer Vielzahl von Gesichtsausdrücken und Posen robust sind. Das Ergebnis ist ein neuartiges, deep learning basierendes Feedback-System, welches anhand von Orien-tierungspunkten im Gesicht Live-Feedback zu ausgedrückten Emotionen geben kann. Die Arbeit präsentiert einen state-of-the-art Gesichtspunkt-Detektor, der besonders stabile und akkurate Ergebnisse bei großen Posenvariationen liefert und dennoch eine ausreichend kurze Ausführungszeit hat, um ein Live-Feedback basierend auf der Webcam-Übertragung zu ermöglichen. Darüber hinaus wird eine Emotionserkennung vorgestellt, bei der nur Gesichtsmarkierungen zur Klassifizierung verwendet werden.

One in fifty-four children is diagnosed with Autism Spectrum Disorder (ASD). ASD is a neurodevelopmental disorder associated with impaired social communication and social interaction, as well as restricted and repetitive patterns of behavior. Difficulties in social behavior are linked to struggles in reading emotions in facial expressions of others and expressing feelings via facial expressions. This thesis provides an implementation of a computer-based emotion-feedback system conceptualized to be part of a learning platform for promoting social behavior by training to recognize and mimic emotions in facial expressions. The game is based on previous work on developing a pedagogical concept and prototype for a computer-based emotion-learning game fitted to the neurological needs of children with ASD. This thesis covers the development of a webcam-based emotion detection for continuous feedback of expressed emotions in the child’s mimic. The emotion detection is based on facial landmarks to optimally be tailored to the neurological needs of children with ASD. Furthermore, the detection considers computational restrictions since it needs to run on webcam streams of older or weaker computers without delay or pauses to make the system accessible to parents and caregivers. As the platform’s target audience are children, the detection must deliver accurate results even when they are restless, turn, or move. Thus, the emphasis is set on the facial landmark detection and the emotion recognition to be robust to various facial expressions and poses. The methods present a novel deep-learning-based facial expression feedback system capable of giving live feedback on expressed emotions. The algorithm contains a state-of-the-art facial landmark detector performing accurate detection during large pose variations with execution times allowing live webcam-based feedback, and an emotion detection using only facial landmarks as detector input.