3D head tracking and gesture recognition using an 8-by-8 array of infrared sensors

Abstract

Kopfverfolgung und Gestenerkennung sind bekannte Problemstellungen im Bereich der Bildverarbeitung mit Lösungen anhand RGB-Kameras oder einer Kombination aus Infrarotsender und -empfänger. In dieser Diplomarbeit wird eine Methode für Kopfverfolgung und Gestenerkennung mit einem 8-mal-8 Infrarotsensor-Array vorgestellt. Dabei wird ein neuartiger Time-of-Flight Abstandssensor verwendet, welcher sowohl finanziell als auch rechentechnisch günstig ist. Zusätzlich werden dank der sehr niedrigen Auflösung des Feldes Privatsphären bedenken reduziert. Die Methode besteht aus zwei Teilen; zuerst wird ein Kopf mittels Kreiserkennung und Formeigenschaften in dem kombinierten Amplituden- und Tiefenbild gesucht. Wird kein Kreis gefunden, werden Annahmen über die Form getroffen, um die Position zu schätzen. Anschließend wird die Distanz des ermittelten Kopfzentroiden verwendet, um einen Raum zwischen Sensoren und berechneter Kopfposition zu definieren (Gestenraum). Dieser Raum wird anschließend von der Gestenerkennung für die Verfolgung von Bewegungen über fünf Bildern verwendet. Falls die Richtung der größten Bewegung eine Geschwindigkeit von mindestens vier Pixel pro Sekunde hat, wird eine Geste erkannt. Die Experimente sind in Feld- (Sensor auf einem Tisch in einem Wohnzimmer mit Tageslicht und Fenster hinter Person) und Laborexperimente (Sensor auf einem Drehtisch in einem Lichtzelt in einem Labor, mit künstlichem Licht von oben) aufgeteilt.

Human head tracking and gesture recognition are both known problems with solutions using RGB-cameras or an infrared emitter/receiver setup. In this thesis, we propose a method for head tracking and gesture detection using an 8-by-8 infrared sensor array. For this, a novel time-of-flight infrared sensor array is employed, which is both financially and computationally in expensive, while also alleviating privacy concerns due to the very low resolution of the array. The method is split into two parts: first, a human head is detected using circle detection on the filtered combination of depth and amplitude images. If no circle is detected, shape information is used to estimate the position of the head. To reduce false detection and outliers, the movement of the head is tracked over time. Using the depth value of the detected centroid, gesture detection then looks for movement in the given space between the sensor and detected centroid depth (gesture space) and tracks it over five frames. If the major movement direction exceeds a speed of four pixels per second, a gesture is detected. The experiments are split up into field (sensor on a desk in a living room with a window behind the person, daylight) and laboratory (sensor on a turntable in a photography light tent in a lab with artificial ceiling lighting).