Depth-guided disocclusion inpainting for temporal consistent virtual view synthesis

Abstract

"Depth Image Based Rendering" ist zu einem wichtigen Werkzeug im Bereich der sogenannten "Free-Viewpoint"-Videos und des dreidimensionalen Fernsehens geworden, da dieses Verfahren, ausgehend von einem einzelnen Blickwinkel und der dazugehörigen Tiefenkarte, die Erzeugung virtueller Ansichten einer Szene ermöglicht. Eine häufig auftretende Problematik hierbei stellen jedoch Aufdeckungen dar, also jene Bereiche, die in den neu erzeugten Perspektiven freigelegt werden. Die vorliegende Diplomarbeit befasst sich mit dem Auffüllen dieser in stereoskopischen Bildern und dreidimensionalen Videos entstandenen Lücken. Um adäquate Bildinformation in den freigelegten Bereichen der neuen Ansichten zu generieren, wird eine texturbasierte Inpainting-Methode präsentiert, unter der Verwendung des randomisierten Korrespondenzalgorithmus PatchMatch. Da zeitlich inkonsistente Inpainting-Resultate von aufeinanderfolgenden Bildern zu störenden Flacker-Artefakten führen, wird in dem vorgestellen Bildvervollständigungsansatz temporale Information eingesetzt, wobei sowohl Patchkorrespondenzen, als auch Farbinformationen in nachfolgende Bilder propagiert werden. Des Weiteren wird die im Bereich der Stereoskopie vorhandene Tiefeninformationen einbezogen, um die Einmengung von Farbanteilen des Vordergrundes in die Inpainting-Ergebnisse zu unterdrücken. Um zusätzlich den Einfluss von Artefakten aufgrund von Ungenauigkeiten in den Tiefenkarten zu reduzieren, werden verschiedene Verbesserungen, wie unilaterale Dilatation, adpative Patchgrößen und ein Übereinstimmungsschwellwert, vorgestellt. Eine umfangreiche Evaluierung mittels objektiver Qualitätsmetriken und einer subjektiven Benutzerstudie zeigt, dass die mit Hilfe der räumlichen und zeitlichen Erweiterungen erhaltenen Ergebnisse des vorgestellten Bild- und Videovervollständigunsansatzes jene bestehender Inpainting-Werkzeuge, wie das im professionellen Bildbearbeitungsprogramm Adobe Photoshop vorhandene "Inhaltssensitive Füllen", an Qualität übertreffen.

Depth Image Based Rendering (DIBR) has become an important tool in the field of freeviewpoint video and three-dimensional television as this technique allows to generate virtual views of a scene from a single view and its associated depth map. However, a common issue in DIBR are disocclusions, i.e. areas that are uncovered in the newly synthesized perspectives. This thesis addresses the problem of filling disocclusions in the context of stereoscopic images and three-dimensional videos. To synthesize visually plausible content in the disoccluded regions of the novel views, a texture-oriented inpainting method is presented based on the randomized correspondence algorithm PatchMatch of Barnes et al. As missing time-consistency results in disturbing flicker artifacts, our proposed inpainting approach exploits temporal information by propagating both patch correspondences and color information to subsequent frames. Moreover, the depth information available in the field of stereoscopic imaging is incorporated to avoid the interference of foreground color in the restored image background regions. To further account for artifacts caused by the image warping process as well as inaccuracies in the underlying depth map, several enhancements are introduced including unilateral dilation, adaptive patch sizes and a matching threshold. An extensive evaluation using objective quality assessment metrics and a subjective user study shows that the spatial and temporal enhancements of the proposed image and video completion framework clearly outperform existing inpainting tools such as -contentaware fill- from the professional graphics editing program Adobe Photoshop.