Automated inpainting of unknown palimpsest regions

Abstract

Diese Arbeit beschäftigt sich mit der automatischen Wiederherstellung von modernen englischen Handschriften und historischen griechischen Schriften. Die griechischen Texte wurden in der Vergangenheit überschrieben und das präsentierte System verwendet Multispektralaufnahmen, um die überschriebenen Regionen zu identifizieren und zu rekonstruieren. Die überschriebenen Regionen werden von einem Binärisierungsalgorithmus erkannt, der Differenzen zwischen lokalen Intensitätsminima und -maxima betrachtet. Anhand dieser Differenzen werden lokale Schwellwerte berechnet, die für eine anschließende Vordergrundsegmentierung benötigt werden. Die gefundenen Vordergrundregionen werden mithilfe eines statistischen Inpainting Algorithmus gefüllt. Der gewählte Inpainting Ansatz ist Teil des Fields of Experts (FOE) Frameworks. Dieses Verfahren basiert auf der Markov Random Field Modellierung und ermöglicht das Lernen von statistischen Modellen, die Abhängigkeiten zwischen Pixeln in einer lokalen Nachbarschaft modellieren. Ein solches Modell wird während der Rekonstruktion verwendet, um die Wahrscheinlichkeit eines wiederhergestellten Bildes zu maximieren. FOE Modelle werden in dieser Arbeit verwendet, um die überschriebenen Regionen in griechischen Texten zu rekonstruieren. Zusätzlich wird der FOE Algorithmus auf natürliche Bilder und moderne Handschriften angewandt. Für die Rekonstruktion von modernen Schriften wurde ein zusätzliches Verfahren entwickelt: Im Gegensatz zu dem statistischen Inpainting Ansatz, beruht die zweite Methode auf einer Heuristik, die Tensor Voting Framework genannt wird.<br />Dieser Ansatz basiert auf den Gestalt Prinzipien und ermöglicht eine Rekonstruktion von fehlenden oder beschädigten Bilddaten anhand der umliegenden Information. Das Verfahren wird genutzt um fehlende Kurvenpunkte an Buchstabenrändern wiederherzustellen. In einem Experiment wurde dieWiederherstellung von modernen Handschriften untersucht, die teilweise von Linien überdeckt waren. Das heuristische Verfahren erzielte in diesem Test einen durchschnittlichen PSNR Wert von 15.58 dB. Der statistische Ansatz war hingegen imstande mehr unbekannte Textregionen zu rekonstruieren und erzielte deshalb einen höheren PSNR Wert von 18.24 dB. Bei der Rekonstruktion der griechischen Handschriften erzielte das System einen durchschnittlichen PSNR Wert von 20.34 dB.<br />

This work deals with the automated reconstruction of modern English handwritings and ancient Greek texts. The Greek writings were overwritten in the past and the presented system utilizes multi-spectral images, in order to identify the overwritten regions and to reconstruct them. The detection of the overwritten regions is fulfilled by a binarization algorithm, which considers the differences between intensity minima and maxima in a local neighborhood. The differences found are afterwards used for the determination of local thresholds, which are utilized in the foreground segmentation step. The foreground regions found are subsequently filled by a statistic inpainting approach. The inpainting technique chosen is part of the Fields of Experts (FOE) framework. This approach is based on Markov Random Field modeling and allows for a learning of statistical image models, which model long range dependencies between pixels. The models are defined by several parameters, which are all learned from a training database. Such a trained model is used in an inference task in order to maximize the probability of a restored image. FOE image models are used in this work in order to recover the occluded parts of ancient Greek texts.<br />Additionally, the FOE algorithm is applied on natural images and modern handwritings. A further inpainting technique has been developed for the reconstruction of modern writings: Contrary to the statistical approach, the second algorithm is based on a heuristic one that is called tensor voting framework. This approach is based on the Gestalt principles and allows for a reconstruction of missing or damaged image data. The technique is applied on handwritings in order to restore missing curve points, which belong to character boundaries. The recovery of modern writings, which were partially overlapped by ruling lines, was analyzed in one experiment. The heuristical approach gained an average PSNR value of 15.58 dB in this test. The statistical inpainting technique was able to reconstruct more missing text regions and hence it yielded a higher PSNR value of 18.24 dB. The proposed system gained an average PSNR value of 20.34 dB on the dataset, which was comprised of the Greek writings.