Behavior modeling based on depth data in the context of ambient assisted living

Abstract

Das Modellieren von Verhalten ist eine aufstrebende Thematik im Bereich der Bildverarbeitung. In Kombination mit 3D Sensoren handelt es sich hierbei um eine Methodik, welche im Kontext des Ambient Assisted Living Anwendung findet. Die Hauptziele hierbei sind die Unterstützung von älteren Personen durch den Ensatz von Technik, wobei im Besonderen das Erkennen von gefährlichen Situationen und "abnormalem" Verhalten im Vordergrund stehen. Die Definition von "normalem" und "abnormalem" Verhalten ist jedoch stark kontext abhängig und wird daher in dieser Arbeit diskutiert. In dieser Dissertation wird ein neues räumlich-zeitliches Modell zur Analyse von Verhalten präsentiert. Dadurch wird es möglich, das Verhalten über die Zeit zu modellieren und Anomalien im Tagesablauf zu detektieren (mittelfristig, d.h. im Laufe des Tages). Durch die Detektion von gefährlichen Situationen, welche innerhalb von Minuten auftreten und den normalen Tagesablauf unterbrechen, wird das Modell erweitert. Zusätzlich erfolgen Langzeit-Analysen, um schleichende Veränderungen der Mobilität detektieren zu können. Durch die Kombination dieser Aspekte wird ein umfassendes Modell entwickelt, wobei die Modellierung räumlicher Aspekte dabei auf einem neuartigen Verfahren, welches das Szenenverständnis auf Basis der Bewegung von Menschen ermöglicht, basiert. Da die hierzu verwendeten Tracking Daten jedoch fehlerbehaftet sind, werden die Daten vor der Analyse gefiltert. Zeitliche Abläufe werden mit Hilfe von Aktivitäts-Histogrammen modelliert, wodurch Veränderungen im Tagesablauf von älteren Menschen detektiert werden. Da es sich bei dem vorgestellten Verfahren um ein selbst-lernendes System handelt, müssen keinerlei Informationen oder annotierte Trainingsdaten zur Verfügung stehen. Um die Vielseitigkeit der Bildverarbeitung optimal einsetzen zu können, basiert das vorgestellte Verfahren auf Tracking Daten, welche mit Hilfe eines 3D Sensors erfasst werden. Da das vorgestellte Verfahren in den privaten Räumlichkeiten von älteren Personen eingesetzt wird, spielt die Privatsphäre eine große Rolle. Daher werden keinerlei RGB Bilder erfasst, noch wird das Tiefenbild des 3D Sensors abgespeichert - eine Analyse der Daten erfolgt daher in Echtzeit. Die Leistung der vorgestellten Algorithmen wird auf Basis von drei unterschiedlichen Datensätzen evaluiert, welche im Kontext von Ambient Assisted Living erstellt wurden. Die Ergebnisse zeigen, dass der Einsatz des vorgestellten Modells eine detaillierte Analyse des Verhaltens ermöglicht. Obwohl die Evaluierung primär im Kontext von Ambient Assisted Living durchgeführt wurde, können die vorgestellten Methoden auch in anderen Bereichen (z.B. innerhalb eines Büros) angewandt werden.

Behavior modeling is an upcoming area within the field of computer vision. In combination with the evolving development of 3D sensor technologies, both, software and hardware motivate the application of behavior modeling within the context of Ambient Assisted Living. The main goals are the support of elderly people during their daily routines, the detection of critical events and "abnormal" behavior in order to provide immediate help. However, the definition of "normal" and "abnormal" behavior depends on the context and thus needs to be discussed. Within this thesis, a novel spatio-temporal behavior model is introduced by incorporating spatial and temporal knowledge into one behavior model. This allows to model the behavior over time and detect abnormal behavior during daily routines on the mid-term range, i.e. during the day. In order to extend the proposed model, short-term information (i.e. time frame of minutes) is integrated by detecting critical events, interrupting daily activities of the elderly. Due to the analysis of mobility changes over the duration of months (long-term), a holistic behavior model is proposed. Spatial modeling is enhanced by the introduction of a human-centered scene understanding approach, focusing on scene functionalities and is solely based on long-term tracking information. Since tracking data is noisy, pre-processing steps to filter outliers are introduced, before the scene is modeled. Temporal aspects are modeled by the use of activity histograms, allowing to detect deviations within the behavior of elderly people. In combination, the proposed model allows to detect abnormal behavior based on the time of the day as well as the location, using an unsupervised learning approach. Hence, no prior knowledge of the scene needs to be specified since the model adapts to the scene automatically. In order to benefit from the flexibility of computer vision approaches, the behavior model is obtained from tracking data, based on a single 3D sensor providing depth information. Since the proposed approach is applied to homes of elderly people, privacy aspects need to be considered. No RGB video data is used and only depth data is analyzed in real-time, hence the depth stream is not recorded. The performance of the proposed approaches is evaluated on three datasets within the context of Ambient Assisted Living and results show that the use of the proposed system is feasible and provides detailed analysis of the elderly's behavior. Although the evaluation is mainly based on this context, proposed approaches can be applied to different contexts as well (e.g. within an office).