<div class="csl-bib-body">
<div class="csl-entry">Weinert, N. M. (2021). <i>Robo-Smile: Development of a facial expression feedback system for an emotion learning platform for children with ASD</i> [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2021.83098</div>
</div>
-
dc.identifier.uri
https://doi.org/10.34726/hss.2021.83098
-
dc.identifier.uri
http://hdl.handle.net/20.500.12708/17532
-
dc.description.abstract
Bei einem von vierundfünfzig Kindern wird eine Autismus-Spektrum-Störung (ASS) diagnostiziert. ASS ist eine neurologische Entwicklungsstörung, die mit sozialen Kommunikationsproblemen, Schwierigkeiten bei der sozialen Interaktion, sowie eingeschränkten und sich wiederholenden Verhaltensmustern einhergeht. Probleme im Sozialverhalten sind mit Schwierigkeiten bei der Erkennung von Emotionen in Gesichtsausdrücken anderer und dem Ausdrücken von Emotionen in der eigenen Mimik verbunden. Diese Arbeit beschreibt die Implementierung eines computergestützten Emotions-Feedback-Systems als Teil einer Lernplattform zur Förderung des Sozialverhaltens, mit der das Erkennen und Nachahmen von Emotionen in Gesichtsausdrücken trainiert wird. Das Spiel basiert auf einer früheren Arbeit zur Entwicklung eines pädagogischen Konzepts und Prototyps für ein computergestütztes Emotionslernspiel, welches auf die neurologischen Bedürfnisse von Kindern mit ASS zugeschnitten ist. Diese Arbeit befasst sich mit der Entwicklung einer Webcam-gestützten Emotionserkennung, welche kontinuierliches Feedback über die ausgedrückte Emotion in der Mimik des Kindes ermöglicht. Um den Kontroll-Algorithmus optimal auf die neurologischen Bedürfnisse von Kindern mit ASS zuzuschneiden, basiert die Emotionserkennung ausschließlich auf zuvor detektierten Orientierungspunkten im Gesicht. Darüber hinaus sind Limitierungen der Rechenzeit des Feedback-Systems essenziell, da die Erkennung ohne Verzögerung oder Pausieren des Webcam-Streams auf älteren oder schwächeren Computern laufen sollte, um das System für eine Vielzahlan Eltern, Betreuerinnen und Betreuern verfügbar zu machen. Da die Zielgruppe der Plattform Kinder sind, muss die Erkennung in der Lage sein, genaue Ergebnisse zu liefern, selbst wenn die Spielerin oder der Spieler unruhig ist, sich dreht oder bewegt. Daher wird spezieller Wert darauf gelegt, dass die Gesichtspunkte- und Emotionserkennung gegenüber einer Vielzahl von Gesichtsausdrücken und Posen robust sind. Das Ergebnis ist ein neuartiges, deep learning basierendes Feedback-System, welches anhand von Orien-tierungspunkten im Gesicht Live-Feedback zu ausgedrückten Emotionen geben kann. Die Arbeit präsentiert einen state-of-the-art Gesichtspunkt-Detektor, der besonders stabile und akkurate Ergebnisse bei großen Posenvariationen liefert und dennoch eine ausreichend kurze Ausführungszeit hat, um ein Live-Feedback basierend auf der Webcam-Übertragung zu ermöglichen. Darüber hinaus wird eine Emotionserkennung vorgestellt, bei der nur Gesichtsmarkierungen zur Klassifizierung verwendet werden.
de
dc.description.abstract
One in fifty-four children is diagnosed with Autism Spectrum Disorder (ASD). ASD is a neurodevelopmental disorder associated with impaired social communication and social interaction, as well as restricted and repetitive patterns of behavior. Difficulties in social behavior are linked to struggles in reading emotions in facial expressions of others and expressing feelings via facial expressions. This thesis provides an implementation of a computer-based emotion-feedback system conceptualized to be part of a learning platform for promoting social behavior by training to recognize and mimic emotions in facial expressions. The game is based on previous work on developing a pedagogical concept and prototype for a computer-based emotion-learning game fitted to the neurological needs of children with ASD. This thesis covers the development of a webcam-based emotion detection for continuous feedback of expressed emotions in the child’s mimic. The emotion detection is based on facial landmarks to optimally be tailored to the neurological needs of children with ASD. Furthermore, the detection considers computational restrictions since it needs to run on webcam streams of older or weaker computers without delay or pauses to make the system accessible to parents and caregivers. As the platform’s target audience are children, the detection must deliver accurate results even when they are restless, turn, or move. Thus, the emphasis is set on the facial landmark detection and the emotion recognition to be robust to various facial expressions and poses. The methods present a novel deep-learning-based facial expression feedback system capable of giving live feedback on expressed emotions. The algorithm contains a state-of-the-art facial landmark detector performing accurate detection during large pose variations with execution times allowing live webcam-based feedback, and an emotion detection using only facial landmarks as detector input.
en
dc.language
English
-
dc.language.iso
en
-
dc.rights.uri
http://rightsstatements.org/vocab/InC/1.0/
-
dc.subject
Maschinelles Lernen
de
dc.subject
Automatische Gesichtserkennung
de
dc.subject
Autismus-Spektrum-Störung
de
dc.subject
machine learning
en
dc.subject
face recognition
en
dc.subject
autism spectrum disorder
en
dc.title
Robo-Smile: Development of a facial expression feedback system for an emotion learning platform for children with ASD
en
dc.title.alternative
Robo-Smile: Entwicklung eines Gesichtsausdruck-Feedback-Systems für eine Emotions-Lernplattform für Kinder mit ADS
de
dc.type
Thesis
en
dc.type
Hochschulschrift
de
dc.rights.license
In Copyright
en
dc.rights.license
Urheberrechtsschutz
de
dc.identifier.doi
10.34726/hss.2021.83098
-
dc.contributor.affiliation
TU Wien, Österreich
-
dc.rights.holder
Nicole Melanie Weinert
-
dc.publisher.place
Wien
-
tuw.version
vor
-
tuw.thesisinformation
Technische Universität Wien
-
dc.contributor.assistant
Kampel, Martin
-
tuw.publication.orgunit
E193 - Institut für Visual Computing and Human-Centered Technology
-
dc.type.qualificationlevel
Diploma
-
dc.identifier.libraryid
AC16210302
-
dc.description.numberOfPages
100
-
dc.thesistype
Diplomarbeit
de
dc.thesistype
Diploma Thesis
en
dc.rights.identifier
In Copyright
en
dc.rights.identifier
Urheberrechtsschutz
de
tuw.advisor.staffStatus
staff
-
tuw.assistant.staffStatus
staff
-
tuw.advisor.orcid
0000-0002-8004-6839
-
tuw.assistant.orcid
0000-0002-5217-2854
-
item.fulltext
with Fulltext
-
item.cerifentitytype
Publications
-
item.mimetype
application/pdf
-
item.openairecristype
http://purl.org/coar/resource_type/c_bdcc
-
item.languageiso639-1
en
-
item.openaccessfulltext
Open Access
-
item.openairetype
master thesis
-
item.grantfulltext
open
-
crisitem.author.dept
E376 - Institut für Automatisierungs- und Regelungstechnik
-
crisitem.author.parentorg
E350 - Fakultät für Elektrotechnik und Informationstechnik