Segmentation von Szenen in historischen Dokumentarfilmen

Abstract

Szenensegmentierung beschäftigt sich mit der Unterteilung eines Films in getrennte Einheiten. Gängige Algorithmen zur Segmentierung eines Films in Szenen verwenden Eigenschaften, die in historischen Dokumentarfilmen entweder aus künstlerischen oder aus technischen Gründen nicht vorhanden sind. Die Arbeit stellt eine Methode vor, die speziell für dieses Filmmaterial entwickelt wurde. Bei der Szenensegmentierung wird als Erstes eine Schnitterkennung durchgeführt. Die dabei gefundenen Shots werden anhand eines Keyframes und Bildmerkmalen miteinander verglichen. Zwei Shots, die innerhalb einer gewissen Zeitspanne liegen und einen Schwellwert an Ähnlichkeit übersteigen, gehören, sowie auch die dazwischen liegenden Shots, zu einer Szene. Die Merkmale, die im Algorithmus für den Vergleich verwendet werden, sind SIFT Keypoints, die Edge Change Ratio und blockbasierte Histogramme.<br />Durch das Finden von ähnlichen Shots entstehen Kernszenen mit dazwischen liegenden losen Bereichen (d.h. Shots, die noch keiner Szene zugeordnet wurden). Die losen Bereiche werden durch das rekursive Herabsetzen der Schwellwerte für die einzelnen Ähnlichkeitsmerkmale bestimmten Szenen zugewiesen. Ein weiterer Teil der Arbeit ist die Überprüfung der Merkmale mit verschiedenen Schwellwerten zur Feststellung ihrer Güte. Die Güte ergibt sich aus dem Verhältnis zwischen fälschlich und korrekt als ähnlich klassifizierten Shots. Zusätzlich wird überprüft, wie weit die Auswahl der Keyframes Einfluss auf das Ergebnis hat.<br />Die Implementation der gewählten Methode wurde außer mit historischen Dokumentarfilmen auch mit modernen Filmen getestet. Dies ermöglicht einerseits die Überprüfung der Implementation nach der Aufgabenstellung und anderseits einen Vergleich mit den in der Literatur vorgestellten Methoden.<br />

The goal of scene segmentation is to split a movie into separate units of action. Current algorithms use features that are not available in historical artistic documentaries either due to film composition or technical aspects. This master thesis introduces a new method that is specifically developed for historical artistic documentaries. The first step of scene segmentation is the detection of shot boundaries. For each shot that is found a keyframe is selected. The keyframes are compared by image features. Two shots that lie in-between a certain time span and exceed a limit of similarity belong, as all the shots that lie between these two shots, to the same scene. The features the algorithm uses to compare the keyframes are SIFT Keypoints, the Edge Change Ratio and block-based histograms.<br />Core scenes are the result of the previous step - the identification of similar shots. Between the core scenes a few shots exist that cannot be assigned. These loose areas are classified by recursively decreasing the similarity thresholds for the respective features. Another part of the thesis is devoted to the evaluation of the features with differing thresholds for a quality assessment of the features. The quality of a feature is defined by a weighted ratio between correctly and falsely classified similar shots. Furthermore, the influence of the keyframe selection strategy is investigated.<br />The implementation of the method is tested with historical artistic documentaries and modern movies. This allows for evaluating the implementation's ability to solve the given problem of scene segmentation in historical artistic documentaries as well as in modern movies. Finally, the proposed method is compared with other state-of-the-art techniques.