Stereoscopic panorama stitching

Abstract

Virtual-Reality-Headsets sind heute leichter verfügbar als jemals zuvor. Das Feld der Telepräsenz, welches versucht dem Benutzer das Gefühl zu vermitteln an einem anderen Ort zu sein, hat besonderes Interesse an diesen Technologien, da sich die Interaktion über Virtual-Reality-Headsets wesentlich natürlicher gestaltet, als über klassische Bildschirme. In dieser Arbeit wird die Ausarbeitung und Implementierung eines Frameworks besprochen, welches es ermöglicht, in einem großteils automatisierten Prozess aus zeitgleich von Kameras aufgenommenen Bildern mit einigen Überlappungen, ein vollständiges Panoramabild zu erzeugen. Um die Verwendung einer Vielzahl an Kamerasystemen zu ermöglichen, wird ein Kameramodell verwendet, welches verschiedene Linsentypen unterstützt. Ein auf Bundle-Adjustment basierender Algorithmus unterstützt dann das Ausrichten der Kameras auf Basis von Feature-Point Übereinstimmungen. Außerdem wird ein Moving-Least-Squares-Verfahren angewandt, um auffällige „Nahtstellen“ zwischen den Bildern zu reduzieren. Aus diesem Ergebnis lässt sich ein Mapping exportieren, woraus in Echtzeit neue Panoramabilder erzeugt werden können - vorausgesetzt, das Kamera-Setup wird nicht verändert. Der Algorithmus wird anhand eines synthetischen Datensets evaluiert, das mehrere Szenen und Konfigurationsmöglichkeiten einschließt und fast hundert unterschiedliche Test-Szenarien beinhaltet. Anschließend wird analysiert, wie sich unterschiedliche Veränderungen an Setup oder Schritten des Algorithmus auf die Effizienz des Algorithmus auswirken. Es wurde festgestellt, dass eine Kombination aus Feature-Point-Matching, Bundle-Adjustment und Moving-Least-Squares-Verfahren ein visuell ansprechendes Panoramabild ermöglicht. Außerdem wurde beobachtet, dass Cubemap Reprojection die Ergebnisse, die ein normaler Feature-Point-Matching-Agorithmus bei Anwendung auf radial verzerrte, kreisförmige Bilder erzielt, verbessern kann.

Virtual reality devices are more easily available today than ever before. The field of telepresence, the objective of which it is to allow a person to feel as if they are present at a distant location, is interested in virtual reality devices, as they present a much more natural interface than a common screen. Through a virtual reality headset, a full panoramic image can be examined by looking in the direction interesting to the viewer. This thesis describes the design and implementation of a framework which allows to create a full panorama from images taken simultaneously by cameras with some overlap, in a largely automated way.We use a camera model which covers a variety of high field-of-view camera systems in order to allow for a large base of different lens types.Next, a full panoramic image is stitched with a bundle adjustment strategy on the basis of feature-point matching, and a moving least squares approach is used to reduce noticeable seams. The result can be exported to a template, from which new panoramic images can be created in real time, given an unaltered camera setup.We evaluate the algorithm against a synthetic dataset which consists of multiple scenes and configurations resulting in almost a hundred different test cases. We analyze how various changes to the setup or steps in the algorithm affect the efficacy of the algorithm. We find that a combination of feature-point matching, bundle adjustment and a moving least squares approach produces a visually pleasing panoramic image. Further, we observe that cubemap reprojection can improve the results of the applied feature-point matching algorithms on radially distorted circular images.