Reconstructing production data from drawn limited animation

Abstract

Die Produktion von traditioneller Animation geschieht in mehreren Schritten, in denen verschiedene Zwischenprodukte entstehen. Bildverarbeitungsverfahren und maschinelles Lernen könnten dafür benutzt werden, einige dieser zeitaufwendigen Schritte zu automatisieren. Lösungen des maschinellen Lernens erfordern jedoch große Mengen an Beispieldaten, welche für die Zwischenprodukte der Animation nicht erhältlich sind. Die finalen Produkte auf der anderen Seite sind in Form von Videoveröffentlichungen und online Streamingdiensten leicht verfügbar. Das Ziel dieser Arbeit ist es diese Kluft zu überbrücken, indem ein Werkzeug erstellt wird, welches durch maschinelles Lernen die Zwischenprodukte aus finalen Produktionen rekonstruiert. Diese rekonstruierten Zwischenprodukte können dann Grundlage von zukünftigen Arbeiten sein. Einzelbilder traditioneller Animation bestehen aus Vordergrund- und Hintergrundelementen, welche in unterschiedlichen Arbeitsschritten produziert werden. Vordergrundelemente werden produziert in dem zuerst eine farbcodierte Strichzeichnung gezeichnet, welche dann ausgemalt und mit dem Hintergrund zusammengesetzt wird. In dieser Arbeit wird maschinelles Lernen dazu benutzt um zuerst Vordergrund- und Hintergrundelemente zu trennen und dann die farbcodierte Strichzeichnung der Vordergrundelemente zu reproduzieren.

The creation of traditional animation is performed in multiple steps, creating various intermediary products. Image processing and machine learning could be used for the automation of some of these time-consuming steps to help animators and studios. However, machine-learning solutions require large amounts of example data, which are not available for the intermediary products of animation. On the other hand, final animation is more easily available through public datasets, video releases, and streaming services. This work aims to bridge this gap by creating a tool to predict intermediary products of animation from frames of the final video, using machine learning. The predicted production data can then be used for further research. In particular, frames of traditional animation are made out of background and foreground elements, which are produced through different workflows. Foreground elements are created by first creating color-coded lineart. These are then colored and composited with the background. In this work, machine learning is used to undo these steps by separating a final frame into the foreground and background and recreating the lineart from the former.