Recognising doors and stairs for a rescue robot

Abstract

Diese Diplomarbeit untersucht das Problem der Tür- und Treppenerkennung für Rettungsroboter. Die Erkennung dieser Objekte ist für einen Rettungsroboter unerlässlich, um in einem halb- oder vollautomatischen Modus zu arbeiten. Geschlossene Türen und Treppen ermöglichen den Zugang zu weiteren Bereichen, die der Roboter möglicherweise besuchen muss, um seine Aufgabe zu erfüllen. Darüber hinaus müssen die Algorithmen robust sein, da es in Anwendungen von Rettungsrobotern aus verschiedensten Gründen wie Explosion, Feuer und Einsturz zu Schutt, unbekannten Hindernissen und Strukturen kommen wird. Die Aufgabe, Türen und Treppen in solchen Szenen zu erkennen, wird mit vier verschiedenen Methoden untersucht. Die Ansätze werden von einfach bis komplex gewählt, um die einfachsten Methoden für mobile Roboter in Bezug auf Rechenleistung und Sensorkomplexität zu finden. Ausgehend von einer umfassenden Literaturrecherche wird das notwendige Hintergrundwissen erarbeitet, modernste Methoden identifiziert und mögliche Methoden für eine Lösung ausgewählt. Ziel ist es verschiedene Ansätze zu vergleichen um zu zeigen, welche für diesen Anwendungsfall am besten geeignet sind. Das erste Verfahren verwendet 2D Bilder und die gängigsten Basismerkmale von Türen und Treppen (Kanten und Linien) werden zu deren Erkennung extrahiert. Die zweite Methode basiert auf der Nutzung einer Simultaneous Localization And Mapping (SLAM) Positionsbestimmung, um 3D Informationen zu gewinnen und 3D Linienerkennung zu verwenden. Im dritten Ansatz wird ein Sensor verwendet, der Tiefendaten liefert, und die Linien- und Ebenenerkennung wird direkt auf den Entfernungsdaten durchgeführt. Damit werden Modelle von Türen und Treppen erstellt und über eine Korrespondenzgruppierung erkannt. Die zuletzt untersuchte Methode verwendet zur Erkennung von Türen und Treppen Neuronal Networks (NNs), die speziell entwickelt wurden um mit Tiefendaten zu arbeiten. Mit dieser Methode wird die Hauptrechenleistung nur während der Offline-Trainingsphase benötigt, die spätere Berechnung der Klassifizierungen ist weniger anspruchsvoll und ist auf einem mobilen System besser durchführbar. Abschließend werden die Ergebnisse analysiert und diskutiert. Die beste Methode um eine Treppe zu finden ist der NN Zugang, bei dem nach oben führende Treppen zweifelsfrei erkannt werden. Treppenabgänge lassen mehr Diskussionspotenzial offen, da aus Sicht des Roboters nicht klar ist, ob brauchbare Stufen vorhanden sind. Für die Türerkennung konnten wir mit den vier Ansätzen keine zufriedenstellende Methode finden.

This thesis studies the problem of door and stair recognition for rescue robots. Detecting these objects is essential for a rescue robot to operate in a semi or fully autonomous mode, because closed doors and stairs provide access to further areas the robot might need to visit to finish its task. Furthermore, the algorithms need to be robust, since in a target environment of rescue robots, due to various reasons such as explosion, fire and collapse, there will be debris, unknown obstacles and structures. The task of detecting doors and stairs in such scenes is met with four methods. The approaches are chosen from simple to more advanced, since it is intended to find the simplest methods for the mobile robots with respect to computational demand and sensor complexity. Starting from a comprehensive literature search, we extract necessary background knowledge, identify state of the art methods, and select possible methods for a solution. The objective is to compare different approaches and show which is the best suited for this practical use case. The first procedure uses 2D images and the most common basic features for doors and stairs, i.e., edges and lines are extracted for detecting doors and stairs. The second method builds on exploiting a Simultaneous Localization And Mapping (SLAM) pose estimation method to gain 3D information and use 3D line recognition for stair detection. In the third approach a sensor that retrieves depth data is used and line- and plane-detection is transferred to operate directly on the depth data. This is used to create models for finding doors and stairs using correspondence grouping. The last investigated method uses Neuronal Networks (NNs) specifically designed to utilize depth data to recognise doors and stairs. With this method the main computational power is required only during the offline training phase, later calculating the classifications is less demanding and better suited for a mobile system. Finally, the results are analysed and discussed. The best method for finding stairs is the NN approach, where in particular stairs leading upwards, can be recognized without doubt. Stairs going down leave more potential for discussion, since due to the robots view point it is not clear if useable steps exist. For door recognition we could not yet find a satisfying method with the four approaches.