Recognition based tracking

Abstract

In dieser Diplomarbeit wird die Anwendung von Objekterkennungstechniken (Object Recognition) zur Objektverfolgung (Object Tracking) untersucht. Mit diesem Ansatz werden klassische Einschränkungen von Object Tracking Methoden, die im Zusammenhang mit der Verwendung eines Hintergrund- oder Bewegungsmodells auftreten, implizit gelöst. Diese betreffen etwa Videos mit niedriger Bildrate, in denen sich Objekte von einem Bild zum nächsten weit bewegen, oder sie treten im Zusammenhang mit plötzlichen Bewegungsänderungen auf, was ein Bewegungsmodell an seine Grenzen bringt. Ein Hintergrundmodell kann nur gemeinsam mit einer stationären Kamera funktionieren, was die Anwendung mit Schwenk-Neige-Zoom (SNZ) Kameras ausschließt.<br />Während Object Tracking eine klassische Aufgabe in der Analyse von Bildfolgen ist, handelt es sich bei Object Recognition um einen Teilbereich aus den Forschungsgebieten Bildverstehen und Machine Learning. Objekterkennungsmethoden beruhen häufig auf Supervised Lernmethoden, bei denen aufgrund eines vorgegebenen Datensatzes offline ein Modell gelernt wird. Object Tracking legt allerdings eine online Methodik nahe.<br />Zur Lösung dieser Problematik wurde ein neuartiges Tracking-Verfahren entwickelt, welches auf dem Matching von Interest Points beruht. Diese können etwa durch die bekannten Verfahren SIFT oder SURF extrahiert werden. Objekte werden als Menge von Interest Points repräsentiert und online in jedem Schritt angepasst. Es ist daher keine vorhergehende Lernphase erforderlich. Dieses Verfahren, sowie eine eigene Implementierung von Online Boosting, wird mit dem MeanShift Tracker verglichen. Dabei werden die Eigenschaften der Methoden evaluiert, insbesondere mit beweglichen Kameras, Sequenzen mit niedriger Bildrate sowie Verdeckungen.<br />

In this thesis, known techniques from the research area of object recognition are analyzed according to their ability to track objects in video sequences. This approach is chosen to overcome the problems of traditional object tracking algorithms, relying on temporal coherence, which are infeasible in some situations - for instance in cases of video material with low frame rate. Objects move too far from one frame to the next, therefore it is hard to predict their movement.<br />Another example is a nonstationary camera, where one cannot use a background model and has to deal with object motion as well as camera motion. Most object recognition methods rely on supervised training from examples, but the nature of the tracking task suggests utilizing online learning methods. The main contribution of this thesis is the IPTracker, a novel interest point based object tracking method. In the first step, interest points are detected and feature descriptors around them are calculated. Sets of known points are created, allowing tracking based on point matching. The set representation is updated online in every tracking step. The method uses one-shot learning with the first frame.<br />Thus, neither offline nor supervised learning is required. An object recognition based approach does not need a background model or motion model, and therefore allows tracking of abrupt motion as well as with nonstationary cameras. In the evaluation, we experiment with the IPTracker as well as with an own implementation of an online boosting based tracker. The methods are compared to the state of the art mean shift method using a simple tracking rate metric and widely used evaluation datasets. The influence of image quality, object size and partial occlusions is analyzed, showing the benefits of the IPTracker.<br />Long-term stability is evaluated and the speed, which is very important for real-time tracking, receives particular attention.