Feature-based real-time stereo vision on a Dual Core DSP with an object detection algorithm

Abstract

Objekterkennung, die Lokalisierung der eigenen Position und das Kartographieren eines Raumes sind Problemstellungen, die in der Robotik durch den Einsatz eines Bildsensors gelöst werden können. Ein Roboter namens Tinyphoon wurde im Rahmen dieser Diplomarbeit mit einem Bilderkennungssystem ausgestattet. Es werden Algorithmen und Methoden präsentiert, die bei der Implementierung dieses Bilderkennungssystems verwendet wurden, wodurch es dem Roboter ermöglicht wird, an einem Roboterfussballtunier teilzunehmen. Das Ziel dieser Arbeit ist es, für eine gegebene Hardware optimale Prozeduren zu finden und zu entwickeln, um 3D-Informationen aus aufgenommen Bildern zu extrahieren. Diese 3D-Informationen bestehen aus Linien im dreidimensionalen Raum und den Positionsinformationen bekannter erkannter Objekte am Spielfeld wie Spielball und Tore. Die dazu verwendete Hardware basiert auf einen Dual Core DSP mit 256 Kbyte Cache und 32 MB SDRAM. Zwei Kameras, wie sie auch in kommerziellen mobilen Telefonen eingesetzt werden, sind im Abstand von 30 mm an der Front des Bilderkennungssystems montiert. Durch die kompakte Bauweise des Roboters ist die Größe des Bilderkennungssystems auf 75 mm x 75 mm beschränkt. Die Arbeit besteht aus vier Teilen. Der erste Teil beschäftigt sich mit dem Erkennen von Kanten und Linien in Bildern. Dabei kommt ein neuer, speziell für eingebettete Systeme optimierter Linienerkennungsalgorithmus zu Einsatz, welcher auf lokalen und globalen Linienparametern basiert. Ein Feature-Based Stereo Vision Algorithm wird im zweiten Teil der Arbeit beschrieben. Dieser verwendet als Features die im ersten Teil extrahierten Kanten und Linien, um Tiefeninformationen zu berechnen. Der dritte Teil beschäftigt sich mit einer auf Farben basieren Bildsegmentierung, um Blobs zu detektieren. Diese Segmentierung sowie die erkannten Kanten und Linien werden im letzten Teil genutzt, um Objekte und deren Position zu ermitteln. Als Testumgebung wird ein Roboterfussballspielfeld verwendet, in dem der Spielball, die Tore, die Roboter sowie die Linien der Bodenmarkierungen erkannt werden. Sowohl die Tore als auch die Roboter werden anhand ihrer Farbe erkannt. Des Weiteren wird der Spielball mit Hilfe eines Kreiserkennungsalgorithmus vermessen. Zudem enth¨alt die Implementierung eine einfache Rektifizierung. Die vom System erreichte Bildwiederholrate ist abhängig vom gewählten Bildauschnitt und liegt zwischen 5 Hz und 11 Hz.

A vision sensor mounted on a robot enables the robot to solve problems such as object detection, self-localization and room-mapping with one sensor. A robot named Tinyphoon is equipped with a vision system to make it possible for the robot to play robot soccer. This thesis proposes the work steps and methods used to implement this vision system. The implementation is realized using a Dual Core DSP with 256Kbyte cache, 32MB SDRAM and two cameras directly connected to the processor. The cameras are similar to the one used in common cellular phones and mounted with a base-line length of 30mm. The mechanical size of the sensor is circular and measures 7.5cm in diameter. The subject of the author’s master thesis is to select, implement and design fast algorithms for the given hardware, to extract 3D lines and the positions of known objects. The work can be divided into four parts. The first part is the implementation of a feature detection algorithm to find edges and lines. Lines are detected by a new line detection which is based on local and global line parameters and optimized for embedded systems. The second part is a feature-based stereo vision algorithm using the edges and lines of the previous part. A color segmentation with a blob detection is the third part. Objects in the last part are localized by using blob information and measured by lines and edges.