A unified approach for the detection of gradual transitions in historic material

Abstract

Die Diplomarbeit behandelt die automatische Erkennung von Überblendungen (gradual transitions) in historischem Filmmaterial. Wir verwenden Material des russischen Filmemachers Dziga Vertov. Verglichen mit zeitgenössischem Material erschwert die Verwendung von historischem Filmmaterial die Erkennung der Überblendungen. Das historische Material hat eine schlechtere technische Qualität, und es wurde anders editiert als zeitgenössisches Material. Die Erkennung von Einstellungsgrenzen (shot boundary detection) ist der erste Schritt des Content-based Video Retrieval. Außerdem erlaubt die Kenntnis der Einstellungsgrenzen Rückschlüsse auf den Editierstil des Filmemachers. Die Erkennung von Einstellungsgrenzen ist ein aktives Forschungsfeld. Die Schnitterkennung (cut detection) wird als gelöst betrachtet, wohingegen für die Erkennung von Überblendungen noch laufend verschiedene Ansätze publiziert werden. Alle von uns recherchierten Ansätze beziehen sich auf zeitgenössisches Material.<br />Der Ablauf der Shot Boundary Detection wird in vier Phasen eingeteilt:<br />a) die Extraktion geeigneter Bildmerkmale, b) die Herstellung eines kontinuierlichen Signals, c) die Klassifikation und d) die Nachbearbeitung. Für die Detektoren werden zwei verschiedene Ansätze verfolgt: Einerseits vereinheitlichte Ansätze, die mit einem Detektor alle Arten von Überblendungen erkennen, und andererseits spezialisierte Ansätze, die für jeden Überblendungstyp einen eigenen Detektor verwenden.<br />Nach einer ausführlichen Literaturrecherche schlagen wir einen vereinheitlichten Ansatz zur Erkennung von Überblendungen in historischem Material vor. Wir evaluieren unseren Ansatz mit historischem Material und mit zeitgenössischem Referenzmaterial der TRECVid Evaluation.<br />Wir zeigen, dass unser Ansatz für historisches und zeitgenössisches Material gültig ist. Weiters erkennen wir, dass für das historische Material texturbasierte Merkmale bessere Ergebnisse liefern als die farb- oder luminanzbasierten Merkmale, die für das zeitgenössische Material ideal sind. Das Unterscheiden von Signaländerungen, die durch Bewegung verursacht werden, von Signaländerungen aufgrund von Einstellungswechseln ist auch für unseren Ansatz die Hauptschwierigkeit.<br />

This master thesis deals with the problem of the detection of gradual transitions in historic movies. The footage we use is from the soviet film maker Dziga Vertov. The historic material is different from contemporary material in technical quality (degraded contrast, flickering, scratches, fungus etc.) and in editing (different styles and lengths of transitions etc.).<br />The knowledge of the temporal location of the shot boundaries in a movie is important for the analysis of the style of filmmaking of a certain director. Furthermore, the first step in automated content-based analysis of video or film material is the detection of shot boundaries.<br />This is an active research topic, and is seen as solved for the easiest to detect type of transitions, the cut. The detection of gradual transitions still is a field for many different approaches. These approaches aim at the detection of gradual transitions in contemporary material. To our knowledge no research about the detection of gradual transitions in historic material has been published so far.<br />The steps towards successful shot boundary detection are a) the selection and extraction of appropriate features, b) the construction of the continuity signal, c) the classification of the frames and d) post processing for verification. In the case of detection of gradual transitions the research focuses on two types of approaches: Unified approaches, i.e. one detector for all gradual transition types, and approaches that use specialized detectors for each gradual transition type. In this master thesis we give an extensive literature research and propose a unified approach for the detection of gradual transitions in historic material. In the experimental study we evaluate our approach against annotated Vertov footage as well as annotated contemporary material from the shot boundary detection task of the TRECVid evaluation.<br />Our experiments show, that our approach is valid for historic material as well as contemporary material. We observe that the historic material requires the use of texture features in contrast to the contemporary material that in most of the cases requires the use of colour and luminance features. We verify that the main problem for gradual transition detection is motion which causes a continuity signal comparable to that of a gradual transition.<br />