Evaluating two-stage gaze estimation using eye image segmentation

Abstract

Eye-Tracking und Gaze-Estimation werden in vielen Forschungsbereichen eingesetzt, darunter Gesundheitswesen, Mensch-Computer-Interaktion, Psychologie und Marketing. Moderne Ansätze für Eye-Tracking basieren häufig auf Machine-Learning, entweder durch den Einsatz von Deep-Learning-Methoden oder durch die Implementierung mehrerer Schritte mit expliziter Merkmalsextraktion. Diese Arbeit stellt einen Vergleich einer End-to-End Deep-Learning-Methode mit einem zweistufigen neuronalen Netzwerk mit Augenbildsegmentierung an. Wir evaluieren drei verschiedene Netzwerkarchitekturen für die Segmentierung der Augenbilder in Kombination mit zwei verschiedenen Architekturen für die Gaze-Estimation und untersuchen individuelle Ergebnisse: (i) den Einfluss verschiedener Segmentierungnetzwerke auf die Gaze-Estimation, (ii) den Einfluss verschieden großer (Anzahl der Parameter) Gaze-Estimation-Modellen auf den Fehler von Gaze-Estimation unter Verwendung expliziter Merkmalsextraktion im Vergleich zu einem End-to-End Deep-Learning-Ansatz und (iii) die Sichtbarkeit der Pupille und ihren Einfluss auf die Merkmalsextraktion und auf die Gaze-Estimation.

Eye-tracking and gaze estimation are used in research areas like healthcare, human-computer interaction, psychology, and marketing. Modern approaches for eye-tracking tend to use machine-learning, either by using end-to-end deep learning approaches or by implementing multiple steps with explicit feature extraction. This thesis addresses the comparison of an end-to-end pipeline with a two-stage convolutional neuronal network approach with eye image segmentation as an explicit feature extraction step. We evaluate three different network architectures for eye image segmentation in combination with two different architectures for gaze estimation and investigate individual results for the following: (i) the influence different image segmentation networks have on gaze estimation, (ii) the influence different sizes (number of parameters) of gaze estimation models have on gaze estimation using explicit feature extraction compared to an end-to-end deep-learning approach and (iii) the visibility of the pupil and its influence on feature extraction and on gaze estimation.