Multi-image morphing: summarizing visual information from similar image regions

Abstract

Morphing beschreibt die Verschmelzung von Bildregionen, die von mehreren Eingabebildern stammen können. In dieser Arbeit wurde ein System entwickelt, das die Fähigkeit besitzt, mehr als zwei Eingabebilder zu einem Ausgabebild zu morphen. Obwohl beliebige Bilder akzeptiert werden, liegt der Fokus auf altertümlichen Münzbildern, die alle einen gemeinsamen Typ aufweisen. Zur Zeit der Entstehung dieser Münzen, stellte jeder Münzprägestempel ein Unikat dar und musste nach einer gewissen Anzahl von Prägeiterationen manuell erneuert werden. Heutzutage können altertümliche Münzen abgenützt und beschädigt sein. Das Ziel dieser Arbeit liegt darin, automatisch Münzregionen zu finden, die in allen Eingabebildern vorkommen und diese in einem Ausgabebild zusammenzufassen. Somit werden Ausreißer, wie zum Beispiel Kratzer oder Abnützungen, automatisch aussortiert. Die zugrundeliegende Bildregistrierung erfolgt durch den Scale Invariant Feature Transform Flow Algorithmus. Der Einsatz eines Markov Random Fields trifft eine optimierte Kombination aller möglichen Bildregionen und störende beziehungsweise auffällige Übergänge entfernt die Anwendung eines Poisson-Gleichungs-Algorithmus. Die Evaluierung setzt sich aus zwei Teilgebieten zusammen, wobei im ersten die Flexibilität des Systems demonstriert wird, indem mehrere Datensätze zur Generierung eines gemorphten Bildes verwendet und dessen Ergebnisse präsentiert werden. Im Rahmen des zweiten Teilgebiets wird eine Klassifizierungsmethode vorgestellt, die die Frage beantwortet, wie gut das gemorphte Bild eine Klasse eines Bilddatensatzes repräsentieren kann. Die Energie des Scale Invariant Feature Transform Flow Algorithmus dient dabei als Ähnlichkeitsmaß zweier Bildinhalte. Es wird gezeigt, dass ein gemorphtes Bild dessen Klasse besser repräsentiert als ein einfaches Bild. Den Abschluss dieser Arbeit bildet eine detailierte Analyse der Klassifizierung altertümlicher Münzen mithilfe eines gemorphten Bildes.

The process of synthetically producing an image illustrating merged parts of multiple source images is usually known as image morphing. In this Master's thesis a system is developed which morphs more than two source images to one output image. Although the system accepts arbitrary image content, the focus is on using ancient coin images belonging to a common coin type. In ancient times each die was individual in its appearance and had to be renewed manually after several iterations of minting. Nowadays, the coins can be worn or damaged. The goal of the presented morphing framework is the automatic finding and summarization of visual data of common regions by which outliers like wear marks of coins are removed. Since image registration forms the basis of the morphing system, Scale Invariant Feature Transform flow-s functionalities are included. The selection of possible region-candidates is decided by exploiting a Markov Random Field in order to find the best combination of visual content. Finally, solving the Poisson equation smooths the morphed image such that any boundaries or disturbing seams become invisible. A twofold evaluation is carried out by firstly applying the system on three different data sets in order to demonstrate visually aesthetic images. Since the aesthetics of an image can be subjective, a second evaluation is done by investigating a classification task of ancient coin images using Scale Invariant Feature Transform flow's energy as similarity metric of visual content. It is shown that substituting a morphed image as training image improves the representation of a coin type compared to a single image. Finally, the thesis is concluded by presenting an analysis about classifying ancient coins with the help of a morphed image.