Evaluation of depth map post-processing techniques for novel view generation

Abstract

Depth-Image-Based Rendering ist eine Schlüsseltechnologie zur Verarbeitung und Verbreitung von dreidimensionalen (3D) Inhalten. Dabei können ausgehend von zweidimensionalen Bildern und dazugehörigen Tiefenkarten neue virtuelle Ansichten berechnet werden, welche in den Originalaufnahmen so nicht existiert haben. Diese neuen Ansichten können dazu verwendet werden, um einerseits 3D Inhalte für stereoskopische Bildschirme, einschließlich Multi-View-Displays, zu erstellen, und andererseits die Tiefenwirkung an die jeweiligen Ausgabegeräte anzupassen. Dabei hängt die Qualität der neuen Ansichten von der Qualität der zugrundeliegenden Tiefenkarten ab. So können Fehler in der Tiefenkarte zu sichtbaren Artefakten in den neuen Ansichten führen. Im Rahmen dieser Diplomarbeit werden unterschiedliche Nachbearbeitungsfilter untersucht, welche die Qualität der Tiefenkarten und in weiterer Folge die Qualität der neuen Ansichten verbessern sollen. Die Evaluierung wird mittels einer subjektiven Benutzerstudie durchgeführt. Dabei verbessert die Nachbearbeitung der Tiefenkarten mittels Filtern, die auf einer lokalen Glättung basieren wie beispielsweise der Bilaterale Filter und der Guided Image Filter, die subjektiven Ergebnisse der Novel Views signifikant. Die subjektiven Ergebnisse lassen weiter darauf schließen, dass die Tiefe innerhalb einer Szene sowohl die generelle visuelle Qualität der Novel Views als auch die Effektivität der Nachbearbeitungsfilter beinflusst. Ein Vergleich der subjektiven Ergebnisse mit den Ergebnissen von zehn objektiven Qualitätsmetriken zeigt, dass hier nur ein geringer Zusammenhang erzielt wird, wodurch die Notwendigkeit von subjektiven Untersuchungen in diesem Bereich bestätigt wird.

Depth-Image-Based Rendering (DIBR) is a key technology for the processing and distribution of three-dimensional (3D) content. Given a two-dimensional image from a scene that was taken from a specific viewpoint and a corresponding depth or stereo-derived disparity map, DIBR enables the generation of images (i.e., novel views) that capture synthesized viewpoints of the scene. The ability of DIBR to synthesize novel views enables the generation of enhanced 3D content (i.e., additional views) for stereoscopic and multi-view displays and gives control over the 3D depth impression (e.g., adjusting the depth range). In DIBR the quality of an underlying depth map contributes to the quality of the novel views generated from it. For example, mismatches, misalignments of depth and color edges or over-smoothed depth edges can lead to visible artifacts in the novel views. We conduct a user study to investigate the effects of depth map post-processing on the perceived quality of 3D content that contains a novel view. A test environment for subjective quality assessment of the visual quality is introduced. In our study we find that filters based on local smoothing, i.e., the bilateral filter and the guided image filter, achieve significantly higher quality scores than filters based on local statistics or the unprocessed counterparts. In addition, our results indicate that the depth range within a scene has a strong impact on the visual quality of DIBR-based novel view generation and the effectiveness of depth post-processing. Furthermore, the obtained subjective results are compared against ten objective quality metrics. We observe only a weak correlation between subjective and objective quality results, which confirms the necessity of user studies in this field.