Towards real-time video inpainting

Abstract

Image-Inpainting bezieht sich auf die Aufgabe, fehlende Informationen in einem Bild so wiederherzustellen, dass ein menschlicher Betrachter nicht erkennen kann, ob das Bild manipuliert wurde oder nicht. Es kann beispielsweise verwendet werden, um alte Bilder und Fotografien wiederherzustellen, indem Kratzer oder andere Gebrauchsspuren entfernt werden. Es kann jedoch auch verwendet werden, um überlagerten Text zu entfernen oder bestimmte Objekte oder Personen aus einem Video zu entfernen. Video-Inpainting ist eine Erweiterung des Image-Inpaintings in eine dritte zeitliche Dimension. Einerseits liefert diese Erweiterung zusätzliche Informationen für das Inpainting eines einzelnen Frames, bringt andererseits auch neue Herausforderungen mit sich, wie die Notwendigkeit, die fehlenden Informationen zeitlich kohärent wiederherzustellen. Video-Inpainting kann in verschiedenen nicht zeitkritischen Szenarien wie Filmbearbeitung oder Filmrestaurierung verwendet werden. Es gibt jedoch auch Szenarien, in denen ein Video in Echtzeit verarbeitet werden muss, was dem Video-Inpainting-Verfahren gewisse Einschränkungen auferlegt. Beispiele für solche Szenarien sind Live-TV-Übertragungen oder der Einsatz in Überwachungssystemen. Diese Arbeit schlägt ein modulares Echtzeit-Video-Inpainting-Verfahren vor, das auf einem regulären Video-Inpainting-Verfahren basiert und dieses hinsichtlich verschiedener Inpainting-Szenarien bewertet und mit dem Originalverfahren vergleicht. Aufgrund der zusätzlich auferlegten Beschränkungen des vorgeschlagenen Verfahrens haben die Ergebnisse, die es liefert, eine geringere visuelle Qualität im Vergleich zu den Ergebnissen des ursprünglichen Verfahrens. Wenn jedoch die tatsächlichen Anwendungsfälle des Verfahrens im Voraus bekannt sind, kann das vorgeschlagene Verfahren angepasst und weiter optimiert werden, indem beispielsweise einige der Einschränkungen gelockert werden.

Image inpainting refers to the task of restoring missing information in an image in a way such that a human observer is unable to tell if the image has been manipulated or not. It can be used, for example, to restore old images and photographs by removing scratches or other signs of wear and tear. However, it can also be used to get rid of superimposed text or to remove certain objects or subjects from a video. Video inpainting is an extension of image inpainting into a third, temporal dimension. On the one hand this extension provides additional information for the inpainting of a single frame but on the other hand introduces new challenges such as the need to restore the missing information in a temporally coherent way. Video inpainting can be used in various non-performance critical scenarios such as film editing or film restoration. However, there are also scenarios in which a video must be processed in real-time, which imposes certain constraints on the video inpainting method. Examples of such scenarios are live TV broadcasting or the usage in surveillance systems. This work proposes a modular real-time video inpainting method which is based on a regular video inpainting method and evaluates it with respect to different inpainting scenarios and compares it to the original method. Because of the additionally imposed constraints the results produced by the proposed method have a lower visual quality compared to the results of the original method. However, if the actual use cases of the method are known beforehand, the proposed method can be adapted and further optimized, for example, by relaxing some of the constraints.