Simeonov, Y. (2017). Pedestrian detection and tracking with visible-light and thermal imaging cameras [Diploma Thesis, Technische Universität Wien]. reposiTUm. http://hdl.handle.net/20.500.12708/78576
Person detection; Tracking; Surveillance; Thermal imaging
en
Abstract:
In den letzten Jahren hat die Nachfrage nach intelligenten Überwachungssystemen für Sicherheitszwecke ein rasantes Wachstum erfahren. Diese Systeme sind ein Teil unseres Alltags geworden und unterstützen Sicherheitskräfte bei der Prävention von Kriminalitätsaktivitäten. Durch die Kombination von multidisziplinärem Know-how aus der Elektrotechnik, Informatik und Datenanalyse haben intelligente Überwachungssysteme die Möglichkeit, Aufgaben wie Objekterkennung, Verfolgung sowie Ereigniserkennung zu vervollständigen. Die Anwendung solcher Systeme statt der traditionellen Überwachung könnte die Arbeitsbelastung des Sicherheitspersonals erheblich reduzieren und gleichzeitig zu einem höheren Sicherheitsniveau beitragen. Ein zuverlässiges Überwachungssystem erfordert eine genaue Objekterkennung trotz unterschiedlicher Umgebungsbedingungen. Diese Arbeit beschäftigt sich mit der Implementierung von Fußgängererkennungs- und Verfolgungsalgorithmen für konventionelle Kamera und Wärmebildkamera im Rahmen eines intelligenten Überwachungssystems. Es werden zwei Ererkennungsansätze untersucht - basierend auf Hintergrund-Subtraktion und inkrementelle Bildanalyse mit Machine Learning. In der letzteren werden HOG- und ACF-Merkmalle erforscht. Die Erkennungsrate der vorgeschlagenen Methoden wird auf einem gründlichen Datensatz von Farb- und Wärmebildern in Bezug auf Wetter-, Oberflächen- und Lichtverhältnisse, Außentemperatur oder Personendichte analysiert. Die Ergebnisse zeigten eine bessere Erkennungsrate im sichtbaren Spektrum auch während der Nacht und eine hohe Empfindlichkeit der Wärmebildkamera gegenüber Temperaturschwankungen. Das Detektionsmodul wurde in einem intelligenten Überwachungssystem eingebettet, das zusätzlich aus Klanglokalisierung und Klangklassifizierung besteht. Die Erfolgsrate des Gesamtsystems wird auf Kriminalitäts-Szenarien getestet und erzielt eine Erkennungsrate von über 70%. Weitere Schritte verknüpfen jede Fußgängerdetektion mit einem Tracking- Algorithmus in einem Tracking-by-Detection-Paradigma. Die Zuordnung zwischen Detektion und Track wird auf einer Frame-by-Frame-Basis mit dem Kuhn-Munkres Algorithmus berechnet. Zwei Tracking-Methoden, basierend auf Kalman-Filter oder Korrelation mit MOSSE Filter, werden untersucht. Die Evaluation zeigte einen signifikanten Vorteil des Kalman-Trackers gegenüber den Korrelations-Tracker.
de
In recent years the demand of intelligent surveillance systems for safety and security purposes has experienced a rapid growth. These systems have become a part of our daily life and support security forces preventing or investigating criminal activities. By combining multi-disciplinary know-how from electrical engineering, computer science and data analysis, intelligent surveillance systems have the capability to complete tasks such as object detection, recognition, tracking as well as event detection. The application of such systems, instead of traditional monitoring, could greatly reduce the workload of security staff and at the same time contribute to a higher safety level. A reliable surveillance system requires accurate object detection, invariant to different environmental conditions. This thesis deals with the implementation of pedestrian detection and tracking algorithms for visible-light and thermal cameras as part of an intelligent surveillance system for event detection. In course of the research two pedestrian detection approaches are investigated - based on background subtraction and holistic sliding window in machine learning framework. In the latter HOG and ACF features are explored. The detection performance of the proposed methods is analyzed on a comprehensive dataset of RGB and thermal-infrared recordings in respect to weather, surface and light conditions, outdoor temperature or crowd density. Results showed better detection performance in the visible spectrum even during night and high sensitivity of the thermal camera to temperature variations. The output from the detection module is embedded in a intelligent surveillance system, consisted of sound localization, sound classification, visible-light and thermal-infrared detection. Its event detection performance has been tested on real life crime scenarios and reported a detection rate of over 70%. Further steps link each pedestrian detection to a tracking algorithm in a tracking-by-detection paradigm. Assignments between detections and tracks are made on a frame-by-frame basis with the Kuhn-Munkres algorithm. Two tracking methods are investigated - model based, using Kalman filter or template based, using correlation and Minimum Output Sum of Squared Errors filter. The evaluation showed a significant advantage of the Kalman tracker over the Correlation tracker.
en
Additional information:
Zusammenfassung in deutscher Sprache Abweichender Titel nach Übersetzung der Verfasserin/des Verfassers