Evaluierung von Epipolarrektifizierungsverfahren zur Verwendung in einem Stereo Vision Framework

Abstract

Epipolarrektifizierung ist ein Verfahren, das häufig im Zuge der Stereo Vision eingesetzt wird. Ziel der Stereo Vision ist es, aus zwei Aufnahmen derselben Szene, einem sogenannten Stereobildpaar, mithilfe geeigneter Verfahren Tiefeninformation für die betrachtete Szene zu berechnen. Man nennt diesen Prozess Depth-From-Stereo. Das zentrale Problem der Stereo Vision - das Korrespondenzproblem - ist das Finden zusammengehörender Punktpaare in einem Stereobildpaar.<br />Epipolarrektifizierung ist ein Verfahren, dessen Ziel es ist, Stereobildpaare so zu transformieren, dass zusammengehörende - also demselben Objektpunkt entsprechende - Bildpunkte in den rektifizierten Bildern auf ein und derselben horizontalen Linie liegen. Unter dieser Voraussetzung wird das Korrespondenzproblem wesentlich vereinfacht und nachfolgende Stereo Matching Verfahren beschleunigt. Da die Epipolarrektifizierung im Fall unkalibrierter Bilddaten keine eindeutige Lösung besitzt, liegt die Schwierigkeit darin, eine Lösung zu finden, die das Bildpaar nicht nur korrekt rektifiziert, sondern gleichzeitig möglichst keine unnötigen Verzerrungen in den rektifizierten Bildern verursacht.<br />Ausgangspunkt dieser Diplomarbeit ist ein Stereo Vision Framework, das in der Interactive Media Systems Group des Instituts für Software Technologie und Interaktive Systeme entwickelt wurde. Dieses Framework umfasst alle Arbeitsschritte, die notwendig sind, um Tiefeninformation aus Stereobilddaten zu gewinnen, für die keine Kalibrierungsinformation zur Verfügung steht. Inhalt des praktischen Teils der Diplomarbeit ist die Nachimplementierung der Quasi-Euclidean Uncalibrated Epipolar Rectification von Fusiello und Irsara in C++. Weiters wird die Qualität der Rektifizierungsergebnisse dieses Verfahrens anhand von Ground Truth-Daten evaluiert und mit jenen des weit verbreiteten Rektifizierungsverfahrens von Hartley verglichen. Anhand von generierten Testmatches wird in einem ersten Schritt untersucht, wie sich verschiedene Faktoren auf die Qualität der Rektifizierungsergebnisse auswirken. Betrachtet wird hier beispielsweise, welchen Einfluss das Ausmaß der Transformationen zwischen den beiden Inputbildern oder Fehler und Ungenauigkeiten in den Punktkorrespondenzen auf die Qualität der Rektifizierung haben. In einem weiteren Schritt werden einige gängige Feature-Detektoren in die Evaluierung einbezogen, um zu untersuchen, welche dieser Verfahren am besten zur Bestimmung der als Input für die Rektifizierung benötigten Punktkorrespondenzen geeignet sind. Konkret werden neben SIFT (Scale Invariant Feature Transform) und dem Harris Corner Detector, zwei der bekanntesten Feature-Detektoren, auch SURF (Speeded Up Robust Features), Hessian Affine Regions und MSER (Maximally Stable Extremal Regions) in die Evaluierung einbezogen.<br />Ziel der Evaluierung ist es herauszufinden, wie die Rezeptur für ein Rektifizierungsverfahren aussehen muss, um möglichst optimale Ergebnisse zu erzielen. Die aus der Evaluierung gewonnenen Erkenntnisse werden soweit als möglich in das Stereo Vision Framework integriert, um die Qualität der Epipolarrektifizierung und damit die Performanz des in Folge angewendeten Stereo Matching Verfahrens zu verbessern.<br />

Epipolar rectification is a technique which is often used in stereo vision. The goal of stereo vision is to determine depth information for a scene based on two images - a so called stereo image pair - of the scene by application of appropriate procedures. This process is called depth from stereo. The main problem of stereo vision, the correspondence problem, is the determination of corresponding image points in a stereo image pair. Epipolar rectification is a procedure which transforms stereo image pairs so that corresponding image points (image points representing the same object point) lie on the same horizontal line in the rectified images. On that condition the correspondence problem is simplified and subsequent stereo matching procedures are speeded up. As the epipolar rectification does not have a unique solution, the challenge lies in finding rectification transformations which rectify the image pair correctly and at the same time do not produce unnecessary distortions in the rectified images.<br />Starting point of this diploma thesis is a stereo vision framework which was developed at the Interactive Media Systems Group of the Institute for Software Technology and Interactive Systems of the Technical University of Vienna. This framework covers all work steps necessary to determine depth information for stereo image pairs for which no calibration information is available. The practical part of this diploma thesis comprises the reimplementation of the Quasi-Euclidean Uncalibrated Epipolar Rectification developed by Fusiello and Irsara in C++. Furthermore the quality of the rectification results of this algorithm are evaluated based on ground truth data and compared to those of the well known rectification procedure presented by Hartley. Based on generated test matches it is examined which influence specific factors have on the quality of the rectification. It is analyzed, for example, which influence the degree of the transformations between the input images or errors and imprecisions in the point correspondences have on the quality of the rectification results. In a second step, well-known feature detectors are incorporated into the evaluation. It is examined which of these algorithms are suited best for the determination of the point correspondences required as input for the rectification. Besides SIFT (Scale Invariant Feature Transform) and the Harris Corner Detector, two of the most popular feature detectors, also SURF (Speeded Up Robust Features), Hessian Affine Regions and MSER (Maximally Stable Extremal Regions) are comprised in the evaluation.<br />The basic goal of the evaluation is to determine how the recipe of a rectification procedure has to look like to retrieve optimal results.<br />The findings of the evaluation are integrated into the stereo vision framework to improve the quality of the epipolar rectification and, as a consequence, also the performance of the subsequently applied stereo matching algorithm.