Erkennung sich wiederholender Ereignisse in Langzeitvideoaufnahmen

Abstract

Langzeitvideoaufnahmen, wie bei Tierbeobachtungen oder bei der Sicherheitsüberwachung, können über mehrere hundert Stunden lang sein und somit viel Zeit in der Nachbearbeitung in Anspruch nehmen. Oft ist es notwendig das gesamte Videomaterial zu sichten, um alle Vorkommnisse des Interesses zu erfassen. Des weiteren liegt das Interesse oft auf bestimmten sich wiederholenden Ereignissen (z.B. typische Handlungen von Personen oder Tieren). Eine vollständige Durchsicht ist in diesem Fall ineffizient. Dieses Problem kann verringert werden, indem relevante Ereignisse in zusammengefasster Form dargestellt werden. Diese Arbeit beschäftigt sich mit der automatischen Extraktion sich wiederholender Ereignisse von Langzeitvideoaufnahmen. Hierbei kommen Algorithmen aus der Bildverarbeitung und der Statistik zum Einsatz, um diese zu identifizieren. Bewegung und Aussehen von Objekten werden erfasst und als elementare Merkmalsmuster beschrieben. Wiederholt sich ein Eigenschaftsmuster zu einem späteren Zeitpunkt, wird ein sich wiederholendes Ereignis erkannt. Der Prozess läuft wie folgt ab: Zunächst wird das Material mittels zeitlicher und örtlicher Bildsegmentierung nach bewegten Objekten durchsucht. Zu jedem Frame des Videos wird versucht diese Objekte im vorherigen Frame wiederzufinden, um Objekte zeitlich zu verfolgen. Anschließend werden Bewegungsmerkmale und Farbmerkmale für jedes Objekt errechnet. Dadurch wird jedes Bewegungsmuster als eine Folge von Merkmalen beschrieben. Die zuvor extrahierten Merkmale werden einem Clustering unterzogen, wodurch ein Alphabet zur Beschreibung von komplexen Ereignissen als Symbolketten entsteht. Durch ein erneutes Clustering, welches die Symbolketten miteinander vergleicht, werden ähnliche Ereignisse erkannt. Wir evaluierten unsere Methode anhand von Langzeitbeobachtungen von Tiergehegen. Unsere Experimente haben gezeigt, dass sich wiederholende Ereignisse mit der vorgeschlagenen Methode erkennen lassen. Diese Arbeit beschreibt unseren Algorithmus, sowie die Ausführung der Experimente. Zum Schluss werden Ergebnisse gezeigt und offene Themen diskutiert.

Long-time video recordings, created by animal monitoring or surveillance, can easily span hundreds of hours and thus take up a long time in the post-processing. Often it is necessary to view the entire video, to assure to gather all occurrences of interest. However, plenty of times the interest focuses only on specific events that occur repeatedly (e.g. typical actions of people or animals). In this case, viewing the entire video is very inefficient. This problem can be reduced by presenting the relevant events in a condensed form. It is the intention in this thesis to automatically extract re-occurring events from long time video recordings. Therefore image processing algorithms and statistical algorithms are used to identify recurring events. Motion and visual appearance of objects are captured and described in the form of basic feature patterns. If a feature pattern is repeated at a later point in time, a repeated event is detected. The processing occurs as follows: First the footage is scanned for moving objects by use of temporal and local image segmentation. At every video frame an attempt is being made to find these objects in the previous frame, to obtain a temporal tracking of the objects. After objects are tracked over time, motion features and color features are extracted from every object. As a result every object together with its motion pattern is described by a set of features. After the prior extracted features are clustered, an alphabet is generated to describe higher-level events related to the object in terms of strings. Similar events are detected by a further clustering, which proves the similarity of the strings. String matching is applied to detect repeated events. We evaluate our method on long-time surveillance video recordings of animal enclosures. Our experiments show that re-occurring events can be detected robustly by the proposed method. This thesis describes our algorithm, the performed experiments, presents results and discusses open topics at the end.