Interactive image matting

Abstract

Das Ziel von Image Matting ist es, ein Vordergrundobjekt aus einem Bild herauszulösen. Dabei müssen der Transparenzwert und die Farbe des Vordergrundobjektes an jedem Pixel im Bild bestimmt werden. Die resultierende Transparenzkarte wird auch als Alpha Matte bezeichnet. Das Matting-Problem ist mathematisch unterbestimmt, weshalb die meisten Algorithmen auf Benutzerinteraktion angewiesen sind, um das Problem einzuschränken.<br />Es gibt drei große Herausforderungen im Bereich Matting: (i) Die Entwicklung einer einfach und schnell zu bedienenden Benutzerschnittstelle; (ii) die Modellierung einer geeigneten Kostenfunktion, welche die Güte einer Alpha Matte beschreibt, und (iii) die Erstellung eines Benchmark-Tests, der einen quantitativen Vergleich von Matting-Algorithmen ermöglicht. In dieser Arbeit werden neue Ansätze in allen drei Bereichen präsentiert.<br />In den meisten vorangegangenen Arbeiten interagiert der Benutzer mit dem Algorithmus indem er eine sogenannte Trimap zeichnet. Die Trimap ist eine Unterteilung des Bildes in Vordergrund, Hintergrund und einen unbekannten Bereich. Jedoch ist das händische Erstellen einer genauen Trimap sehr zeitintensiv. Daher folgen wir jüngsten Forschungsarbeiten und berechnen eine exakte Trimap anhand weniger Benutzereingaben. Die Neuheit in unserem Ansatz ist eine verbesserte Kostenfunktion, welche die Güte einer Trimap beschreibt. Unsere vorgeschlagene Kostenfunktion basiert auf Bildmerkmalen und a-priori Wissen über den Bildgebungsprozess, wodurch es ermöglicht wird, präzise Resultate mit wenig Benutzeraufwand zu erzeugen.<br />Der zweite Teil dieser Arbeit beschäftigt sich mit dem Extrahieren einer Alpha Matte unter Zuhilfenahme einer vom Benutzer spezifizierten Trimap.<br />Unser Ansatz basiert auf der Annahme, dass die Transparenzen des Vordergrundobjektes vor allem durch den Bildgebungsprozess entstehen.<br />Aufgrund dieser Annahme verwenden wir ein Modell, welches die Alpha Matte als Faltung einer binären Segmentierung mit der Punktspreizfunktion der Kamera beschreibt. Basierend auf diesem Modell werden in dieser Arbeit Matting-Algorithmen vorgestellt, welche qualitativ hochwertige Resultate erzeugen können, selbst wenn unsere Annahme nicht zur Gänze erfüllt wird.<br />Im letzten Teil dieser Arbeit entwickeln wir einen Benchmark-Test für Image Matting, der einen quantitativen Vergleich der Algorithmen ermöglicht. Der von uns entwickelte Benchmark umfasst (i) einen Testdatensatz mit qualitativ hochwertigen Referenzlösungen; (ii) ein dynamisches Online Benchmark System, welches für Forscher zugänglich ist, um bestehende Algorithmen zu analysieren und die Evaluierung mit neuen Resultaten zu ergänzen; und (iii) Fehlermetriken für Image Matting, welche auf der menschlichen Wahrnehmung basieren. Die Resultate des Benchmark-Tests bestätigen die ausgezeichnete Leistung unserer Matting-Algorithmen im Vergleich zur momentanen State-of-the-Art.<br />

Image matting aims to extract a foreground object from a single natural image by recovering the partial transparency and corresponding color of the foreground object at each pixel in the image. The resulting transparency map is thereby denoted as alpha matte. The matting problem is severely ill posed, and in this thesis we focus on matting approaches that utilize user interaction to make the problem tractable.<br />There are three fundamental challenges in interactive image matting research that are addressed in this thesis: (i) Providing a fast and intuitive user interface; (ii) finding a good cost function for matting; and (iii) providing a benchmark that allows a quantitative comparison of matting results.<br />In most previous approaches the user interacts with the algorithm by drawing an accurate trimap, which is a partition of the image into foreground, background and unknown regions. An accurate trimap is very tedious to create manually, hence we follow recent work and aim to automatically generate a trimap from very little user input. The novelty of our approach lies in a new cost function that describes the goodness of a trimap solution. Our cost function considers several image cues and incorporates four different types of priors that are used to regularize the result. We show that our method is fast and produces accurate results.<br />This thesis also addresses the problem of extracting an alpha matte from a single photograph, given a trimap. We improve on previous image matting approaches by assuming that the majority of partial transparencies are induced by the imaging process. Hence we exploit a model where alpha is the convolution of a binary segmentation with the camera's point spread function. Based on this model, we propose new matting algorithms that generate high-quality results even for images where our assumption is not met completely.<br /> Finally, we introduce a new benchmark-test for image matting that enables a quantitative comparison of matting results. Our contributions are (i) a challenging, high-quality ground truth test set that builds the basis of our evaluation; (ii) a dynamic online benchmark system that allows other researchers to interactively analyze recent matting work and to complement the evaluation with new results; and (iii) perceptually motivated error metrics for image matting. We use this benchmark to confirm that our proposed matting algorithms outperform the current state-of-the-art.