Matching omnidirectional images in indoor environments

Abstract

Keypoint Matching bezeichnet das Problem vom Finden korrespondierender Punkte in zwei Bildern. Dies ist für Bilder von schwach texturierten Szene ein ungelöstes Problem in der Computer Vision. Derartige Szenen befinden sich z.B. innerhalb von Gebäuden, welche hauptsächlich aus homogenen Flächen wie z.B. Wänden, Decken oder Böden bestehen. Es wird gezeigt, dass Kameras mit einem besonders großen Blickwinkel, sogenannte omnidirektionale Kameras, das Matching Problem in diesen Umgebungen besser lösen können. Jüngst wurden neue Algorithmen vorgeschlagen um das Finden von korrespondierenden Punkten in omnidirektionalen Bildern zu verbessern. Herkömmliche Matching Verfahren, wie die Invariant Feature Transform (SIFT) für perspektivische Bilder ignorieren die nicht-lineare Verzerrung von omnidirektionalen Bildern, die mittels katadioptrischen oder Fischaugen Kameras erzeugt werden können. In dieser Arbeit wird die Leistung der Keypoint Erkennung und deren Zuordnung für SIFT, sRD-SIFT und SIFT on the Sphere (SIFT Sphere) im Kontext von Innenraumfotos untersucht und evaluiert. Die Vergleichsmaße der Auswertung sind Repeatability und Recall vs. 1-Precision. sRD-SIFT und SIFT Sphere sind Adaptierungen von SIFT, die ein geeignetes Model für die nichtlineare Bildverzerrung von Single Viewpoint Kameras verwenden. Das Ziel dieser Arbeit ist die Leistung von den genannten Verfahren im Zusammenhang mit unterschiedlichen Bildtransformationen wie Skalierungen, Rotationen, Änderungen des Standpunktes und Änderungen des Blickwinkels in schwach strukturierten und texturierten Bildszenen zu untersuchen. Dabei werden nicht nur die Matching Ergebnisse von omnidirektionalen Bildern untereinander, sondern auch die Ergebnisse von perspektivischen Bildern mit omnidirektionalen Bildern miteinander verglichen. Der zuletzt genannte Fall tritt bei sogenannten hybriden Kamera Netzwerken auf. Es wird gezeigt, dass nur SIFT Sphere bezüglich der untersuchten Bildtransformationen invariant ist. Die wichtigste Erkenntnis dieser Arbeit ist, dass die untersuchten Verfahren komplementäre Ergebnisse liefern, welche wiederum stark von der jeweiligen Szene und Bildtransformation abhängen. Es wird gezeigt, dass sich keines der untersuchten Verfahren in Hinblick auf die Matching Leistung von den Anderen deutlich absetzt.<br />

Image matching relates to the problem of finding corresponding points in two images of the same scene. An unsolved problem in computer vision is to match images from sparsely textured scenes. Examples of such scenes are indoor environments with homogenous regions, e.g. walls, ceilings or floors. It is shown that wide field of view cameras, so called omnidirectional cameras, can improve the matching problem in sparsely textured scenes. Approaches for matching omnidirectional images were proposed since traditional matching methods like the Scale Invariant Feature Transform (SIFT) do not consider the non-linear distortion introduced by omnidirectional images, captured with catadioptric or fisheye cameras. In this thesis the keypoint detection and descriptor matching performance is evaluated and compared for SIFT, sRD-SIFT and SIFT on the Sphere (SIFT Sphere) in the context of indoor scenery. The performance of keypoint detection is estimated with the measure repeatability and recall vs. 1-precision is used to compare the descriptor matching performance of each approach. sRD-SIFT and SIFT Sphere are adaptations of SIFT, adding a model of non-linear camera distortion for images with a single viewpoint. The main contribution of this thesis is the estimation of the general performance of those approaches in relation to different image transformations, e.g. scaling, rotation, viewpoint changes and field of view changes, and in respect of sparsely textured and structured scenes. It is shown that SIFT loses invariance to rotation, scaling and viewpoint changes in matching omnidirectional images. SIFT Sphere is the sole approach examined which is invariant to such transformations. Further it is shown that the performance of SIFT, sRD-SIFT and SIFT Sphere in matching omnidirectional images with each other is superior to the matching of perspective to omnidirectional images, which is the case in hybrid camera networks. Overall it is concluded that all approaches examined have a complementary performance, which highly depends on the scene type and image transformation, but in general none of them can be identified to be more superior to the others.