Smoke and fire detection using 2D and 3D multi-sensor fusion

Abstract

Der Ausbruch eines unkontrollierten Feuers stellt eine große Gefahr für jeden Menschen dar. In jüngster Zeit wurden viele Ansätze entwickelt um Feuer und Rauch kontaktlos zu erkennen - zumeist realisiert durch statische Kameras welche einen entsprechenden Bereich überwachen. Hierzu werden typische Merkmale von Feuer aus den Video-Daten extrahiert, um danach - anhand der erhalten Werte - zu bestimmen ob ein Feuer erkannt worden ist oder nicht. In dieser Diplomarbeit wird ein neuartiger Ansatz zur Feuer- und Raucherkennung vorgestellt. Hierzu werden die Daten von zwei Sensortypen kombiniert verwendet: eine Kamera welche ein Farbvideo erfasst und ein 3D Tiefensensor welcher die Entfernungen von Objekten zum Sensor bestimmt. Beide Sensoren sind bereits in Geräten wie der Microsoft Kinect oder einer ASUS Xtion Pro vorhanden. Tests zeigen, dass Feuer zu einer sichtbaren Veränderung im Tiefenbild führt, während Rauch keine signifikante Änderung hervorruft und deshalb nur im Video-Stream erkennbar bleibt. Im Zuge der Diplomarbeit wird eine Methode vorgestellt, wo die Informationen aus dem Videostream verwendet werden um Feuer an Hand unterschiedlicher Merkmale in Videos zu detektieren und zu lokalisieren. Zusätzlich werden die Daten des Tiefensensors verwendet um potentielle Feuer-Bereiche zu errechnen. Wird nun ein mögliches Feuer durch die RGB Kamera entdeckt, wird die Information des Tiefensensors dazu verwendet um den Bereich auf seine Plausibilität hin zu überprüfen. Dieser kombinierte Ansatz vermindert die erkannten Falsch-Positiven (Feuer wurde erkannt obwohl kein wirkliches Feuer in der Szene vorhanden ist) um 97, 46%, verglichen mit den Entscheidungen die alleine durch die Auswertung der Informationen des Farbsensors getroffen wurden. Die Analyse von Testvideos und die anschließende Auswertung der Ergebnisse zeigt, dass das kombinierte Verwenden von beiden Sensoren die Erkennungsrate von echtem Feuer deutlich verbessert und die Falsch-Positiven effektiv reduziert. Selbst Aufnahmen von Feuer, welche über einen Bildschirm abgespielt wurden, wurden als Korrekt-Negativ erkannt. Eine z.B. ASUS Xtion Pro eignet sich jedoch nicht für die Raucherkennung, da der Farbsensor Videos nur in relativ schlechter Qualität aufzeichnen kann.

Recent approaches for contactless fire- and smoke detection rely widely on evaluating the content of video-streams, provided by for example video-cameras monitoring a scene. Different features for fire and smoke are calculated using information extracted from the video-stream. The final decision - if smoke or fire is represented in a video frame or not - is then made by merging the result of each single feature to an overall decision. In this thesis a novel approach to detect fire and a novel approach to detect smoke by using two different sensors is proposed. The first sensor is a RGB camera, providing a colored video-stream, while the second sensor is a 3D-sensor which calculates the distance between the sensor itself an objects located in a scene. Hardware, like the Microsoft Kinect, already combine both sensors. Results show that fire itself leads to significant changes in the depth-image provided by the 3D sensor, while the presence of smoke leads to changes in the color-stream only. Therefore, a method is presented, where the information of the RGB color-sensor is continuously analyzed if specific features like the color of moving pixels and their statistical analysis indicate a presence of fire in a scene. If a potential fire-region is recognized by the color-sensor, the implemented method for the depth-sensor verifies the potential fire-area (detected by the RGB sensor only) regarding its plausibility. This combined approach, by fusing RGB and depth information, leads to a decrease of the false-positive rate (fire is falsely detected in a frame) of 97.46%, compared to the detection rates by using the information of the color-sensor only. Due to the fact that smoke does not lead to a significant change in the stream provided by the depth-sensor, for smoke-detection a method using the RGB sensor only is implemented. The results show that fire-detection using e.g. a Kinect enhances the detection of real-fire events significantly, due to the fact that false-positives are effectively reduced.