Evaluierung von Algorithmen zur Novel-View-Generierung aus Stereobildern

Abstract

Diese Arbeit beschäftigt sich mit dem Vergleich von State-of-the-Art-Algorithmen zur Erzeugung von virtuellen Ansichten (Novel-Views) auf Basis von Stereobildern. Novel-Views (NV) sind künstlich generierte Blickwinkel auf eine Videoszene, die im Originalvideo noch nicht existiert haben. Dabei werden die virtuellen Ansichten nicht auf Basis eines 3D-Modells gerendert sondern durch Berechnen von Tiefeninformation und horizontales Verschieben der Bildpunkte des Originalvideos anhand dieser Tiefeninformation neu gestaltet. Novel-Views finden im Bereich der 3D-Technik bei der Darstellung eines 3D-Videos auf autostereoskopischen und stereoskopischen Bildschirmen, sowie bei Korrekturen der Stereobasis (Originalabstand zwischen den Stereokameras bei der Videoaufnahme) Anwendung.<br />Das Ziel dieser Arbeit ist es, mehrere NV-Methoden bezüglich ihrer visuellen Qualität (z.B. Artefakte, Tiefeneindruck ...) zu analysieren und zu vergleichen. Dabei werden im Speziellen die Methoden für das Image Warping (Verschieben von Bildpunkten auf ihre neuen Positionen) und das Image Inpainting (Rekonstruktion fehlender Bildteile) untersucht. Die Resultate dieser Arbeit ermöglichen es, eine NV-Methode zu entwickeln, die einen angenehmen Tiefeneindruck erzielt und visuelle Artefakte soweit reduziert, dass diese von der menschlichen visuellen Wahrnehmung nicht mehr als störend empfunden werden.<br />Die Vermessung des möglichen Tiefeneindruckes eines Bildschirms dient als Voraussetzung für eine optimale Evaluierung und wird im Zuge der Displaykonfiguration näher behandelt. Dabei werden Methoden vorgestellt, mit denen sich die räumliche Größe einer 3D-Szene verändern lässt und an das wiedergebende Display angepasst werden kann.<br />Durch eine umfangreiche Literatursuche sollen zunächst vielversprechende Methoden zur NV-Generierung gefunden und implementiert werden. Diese werden dann evaluiert und miteinander verglichen, wobei das Hauptaugenmerk der Qualitätsbewertung auf der visuellen Wahrnehmung von Artefakten und Bildfehlern im bewegten Video liegt. Dazu werden mehrere Testdatensätze - sowohl selbst erzeugte sowie Bildmaterial aus online zugänglichen Referenzdatenbanken - zusammengestellt, die zur Analyse der NV-Algorithmen herangezogen werden.<br />Die Ergebnisse zeigen, welchen Einfluss die Positionierung der neuen Kameraansichten auf den optischen Gesamteindruck hat und welche der analysierten Verfahren sich von den anderen durch eine bessere visuelle Qualität unterscheiden.<br />

This thesis evaluates state-of-the-art algorithms for generating virtual camera views (novel views) from stereo footage. Novel views are artificial views on a 3D video scene, which did not exist in the original footage, but are derived from the two original views by processing depth information based on the displacement of the recording stereo cameras. The virtual viewpoints are not rendered using 3D models, but are processed by adequately moving pixels of the original view to novel view positions based on the calculated depth information. Virtual camera views are used to present 3D videos on autostereoscopic and stereoscopic displays, but are also needed to correct stereo baselines, which define the distance between the lenses of a stereo camera.<br />The goal of the thesis is to analyse and compare multiple novel view techniques with regard to their visual quality (e.g. artefacts and depth impression). The focus lies on studying methods for image warping (horizontally moving pixels to their new positions) and image in-painting (filling missing parts of an image). The results of this thesis facilitate the design of novel view techniques that can generate a comfortable depth impression while reducing image artefacts to a level which is no longer distracting the human visual perception.<br />The thesis also includes the systematic measurement of physical depth limitations of auto-stereoscopic and stereoscopic displays. This is a requirement for the presented evaluation and is discussed in a separate section covering the topic of display configuration. That section also presents methods to modify the depth of a 3D scene and to adapt it to the displaying monitor.<br />State-of-the-art novel view generation algorithms shall be found through an exhaustive literature research. Promising methods are then implemented, evaluated and compared against each other. The evaluation of novel view algorithms is carried out on different test sets, which are both manually generated and downloaded from online databases.<br />Thereby, the main focus of the evaluation lies on the visual perception of image artefacts in temporal video streams.<br />The results show the influence of the novel view camera positions on the overall optical impression and state which of the analysed methods achieve a better visual quality.