Design and evaluation of stereo matching techniques for silicon retina cameras

Abstract

Heutzutage werden in verschiedensten Anwendungen der Bildverarbeitung Techniken zur 3D-Rekonstruktion herangezogen, um die Tiefeninformationen der realen Umgebung abzubilden. Zu diesem Zweck werden häufig Stereo Vision Systeme, bestehend aus zwei Kameras, welche die Szene aus zwei unterschiedlichen Blickwinkeln aufnehmen, verwendet. Eine wesentliche Herausforderung in der Stereobildverarbeitung ist die Lösung des Korrespondenzproblems, welches darauf abzielt, korrespondierende Pixel - welche Projektionen des gleichen Punkts der 3D-Szene darstellen - im Bildpaar zu finden. Im Gegensatz zur Stereoverarbeitung von Bildern herkömmlicher Kameras, welche bereits seit vielen Jahren Gegenstand intensiver Forschung ist, konzentriert sich die vorliegende Arbeit auf die in der bisherigen Literatur kaum behandelte Analyse von Stereodaten, welche mit einer Silicon Retina Kamera aufgenommen wurden. Das spezielle analoge Pixeldesign einer Silicon Retina Kamera ermöglicht einen hohen Dynamikbereich sowie schnelle Pixel Updates. Im Gegensatz zu konventionellen Kameras wird beim Silicon Retina Sensor eine Vorverarbeitung der Daten auf dem Chip durchgeführt, und Pixelinformationen werden nur dann weitergeleitet, wenn eine Helligkeitsänderung stattgefunden hat. Diese Funktionsweise reduziert die Menge an Daten, die transferiert und weiter verarbeitet werden muss. Aufgrund der unterschiedlichen Bildinformation im Vergleich zu normalen digitalen Kameras stellt ein Silicon Retina Stereosystem neue Herausforderungen an die Lösung des Korrespondenzproblems. In der vorliegenden Arbeit untersuchen wir zunächst die Daten eines Silicon Retina Stereosystems, um dann neue Stereo Matching Ansätze zu entwickeln, welche auf die Besonderheiten der Silicon Retina Daten zugeschnitten sind. Zusätzlich zu den eigentlichen Matching Algorithmen entwickeln und vergleichen wir verschiedene Verfahren zur Verbesserung der Tiefenergebisse. Des Weiteren wurde zur Evaluierung der berechneten 3D-Daten eine Methode zur Generierung von Referenzdaten (Ground Truth) entwickelt, die quantitative Aussagen über die berechneten Resultate ermöglicht, welche die Basis für eine ausführliche Diskussion und Interpretation der erzielten Stereoergebnisse bilden.

Nowadays, techniques for 3D reconstruction that are used in a variety of computer vision applications need to account for the 3D structure of a real-world scene. This task is often performed using a stereo vision system which consists of two digital cameras observing the same scene from two different viewing angles. A major challenge in stereo vision is the stereo matching problem, which involves finding corresponding pixels that are projections of the same scene point in the image pair. While stereo matching of images delivered by conventional cameras has been the subject of intense research for many years, this thesis focuses on the analysis of stereo data delivered by a different type of digital camera - a Silicon Retina sensor - whose stereo processing capabilities have been addressed by only few publications thus far. The special analog pixel design of a silicon retina camera enables a high dynamic range of light and very fast pixel updates. Unlike a conventional camera, the silicon retina camera's sensor pre-processes the information on-chip, and only transmits pixels that capture a change of light. This significantly reduces the amount of data that must be transferred and processed. However, as the process yields visual information different to a normal digital image, the data poses new challenges for solving the correspondence problem occurring in a silicon retina stereo set-up. In this thesis, we first analyze the data from a silicon retina stereo sensor and study its behavior in order to assess the impact of various algorithms on this data. Then, based on these results, we design and implement new kinds of stereo matching algorithms to overcome the imposed challenges of silicon retina data. Besides the core stereo matching algorithms, we develop and evaluate different approaches to improve the accuracy of the stereo matching algorithms. Additionally, we design a method to generate ground truth data to better evaluate the calculated depth data; this enables meaningful discussions and interpretation of the generated stereo matching output.