Transformation von nicht-photorealistischen Bild- zu Videoeffekten

Abstract

Das automatische Erzeugen von nicht-photorealistischen Animationen aus echten Videosequenzen ist ein aktuelles Problem der Computergraphik mit starker anwendungsorientierter Relevanz. Wird dabei von Daten im Bildraum ausgegangen, erstreckt sich das Forschungsgebiet auch über das Feld der Mustererkennung und der digitalen Bildbearbeitung.<br />Beim Stilisieren einer Videosequenz besteht eine große Herausforderung darin, zeitlich kohärente Ergebnisse zu erzeugen. Die in den Frames dargestellten Videoobjekte sollen trotz zeitlicher Veränderungen als zusammengehörige Einheit empfunden werden können, sodass die Sequenz in weiterer Folge als Animation wahrnehmbar ist. Die vorliegende Arbeit gibt daher zunächst einen Überblick über verschiedene Ansätze Kohärenz zu erzwingen und geht dabei im Speziellen auf cartoonartige Stilisierungen im Bildraum ein.<br />Das primäre Ziel der Diplomarbeit ist es, eine bereits in der Lehre eingesetzte Bibliothek für Bild- und Videoverarbeitungsalgorithmen zu erweitern. Dafür wurden ein neuer, cartoonartiger Bildeffekt und darauf aufbauend mehrere Videoeffekte implementiert. Im Zuge dieser Änderungen werden außerdem in der Bibliothek existierende Datenstrukturen erweitert und um Keyframeinterpolation sowie weitere Bild- und Videoverarbeitungsroutinen ergänzt.<br />Der implementierte Bildeffekt entwickelt einen an Basiseigenschaften von Cartoons orientierten Stil, den BenutzerInnen zusätzlich variieren können. Zu diesem Zweck führt eine erste Abstraktion eine Farbreduktion aus und entfernt Details. Weitere Schritte (Betonung von Kanten, Modifikation von Helligkeits- und Farbwerten, Variation von Schärfe und Kontrast) schaffen gleichzeitig Parameter, welche die Ausprägung der einzelnen Merkmale im Ergebnis bestimmen. Die Videoeffekte bauen auf unterschiedliche, in der Literatur präsentierte Strategien für den Erhalt zeitlicher Kohärenz auf. Ein Videoeffekt versucht, angelehnt an global konzipierte Ansätze, mehr als nur ein Frame in die Farbreduktion einzubeziehen. Ein weiterer Effekt stellt eine Beziehung zwischen den Farben benachbarter Frames her. Ein dritter Videoeffekt führt, inspiriert durch Ansätze, die aufgrund von Differenzen zwischen benachbarten Frames Arbeitsschritte definieren, eine Entscheidungsfunktion ein, die darauf abzielt, räumliche Farbsprünge zu verhindern. Um die Effektivität der implementierten Effekte zu verifizieren und zu vergleichen, werden Differenzen zwischen Frames untersucht. Ein zusätzlicher, bereits existierender Videoeffekt wird adaptiert und in die Vergleiche eingebunden. Schlussendlich wird der Mehrwert des Frameworks und insbesondere der implementierten Effekte für den Lehreinsatz analysiert.

This diploma thesis deals with the automated production of non-photorealistic animations from real video sequences. Stylization of video data poses the challenge of producing temporally coherent results.<br />Video objects that are present in consecutive frames should be experienced as a functional unit, to enable users to regard the video as an animation, with disturbing artifacts such as flickering largely suppressed. Therefore the work starts with a survey of different approaches described in the literature to enforce temporal coherence, and we put an emphasis on cartoon-like effects operating on image-space data.<br />The main contribution of the diploma thesis is to enlarge and enhance a library of image and video processing algorithms, which is already in use for educational purposes. In this context, a new cartoon-like image effect and, building on that, several video effects are developed.<br />Existing data structures are enhanced, and keyframe interpolation as well as various image and video processing algorithms are added to the library.<br />The implemented image effect creates a new style orientated on basic characteristics of cartoons and gives the users the opportunity to modify the resulting abstraction. For this purpose, a color reduction is first applied to flatten details. Additional steps (highlighting edges, adding brightness and color detail, modifying image sharpness or contrast) offer parameters to control the influence of several characteristics of the result.<br />The respective video effects refer to different approaches described in the literature to enhance temporal coherence. One of those video effects is based on techniques which process a video stream globally and attempt to include more than only one frame in the color reduction process.<br />Another video effect relates colors of adjacent frames. A third video effect defines, inspired by approaches working with frame differences, a decision function to reduce flickering.<br />A variety of stylization results are illustrated and evaluated. To verify and compare the effectiveness of the implemented effects in combination with different techniques, frame differences are analyzed.<br />Finally, the additional benefit of the framework and, in particular, of the added effects for educational purposes is discussed.