Features in visual media analysis

Abstract

Trotz großer Fortschritte in der automatisierten Bild- und Videoverarbeitung werden viele Untersuchungen in der Filmanalyse heute immer noch manuell durchgeführt. Existierende Ansätze und Anwendungen der Computer Vision haben meist das Ziel relevante Informationen zu finden oder große Datenmengen kompakt darzustellen als Filme zu verstehen. Während die aktuelle Forschung im Bereich der automatisierten Filmanalyse sich mit der Frage beschäftigt, was wir aus dem Film als solchem lernen und extrahieren können, untersucht diese Arbeit den Entstehungsprozess eines Filmes als möglichen Ausgangspunkt für die automatisierte Filmanalyse.<br />Die zentrale Fragestellung dieser Arbeit ist: "Inwieweit können Methoden der Computer Vision Filmwissenschafter unterstützen?". Wir diskutieren eine mögliche Verlinkung zwischen Faktoren, welche die Entstehung, Gestaltung und Wahrnehmung von Filmen beeinflussen und existierenden Methoden der Computer Vision. Diese neue Sicht auf die Filmanalyse ermöglicht die Identifikation und die Erforschung von drei Gruppen von Fragestellungen im Kontext der automatisierten Filmanalyse: Die erste Gruppe umfasst Forschungsfragen, welche seit einigen Jahren aktiv untersucht werden. In der zweiten Gruppe sind Forschungsfragen zu finden, welche aus dem heutigen Stand der Wissenschaft nicht unmittelbar gelöst werden können. Die dritte Gruppe repräsentiert Fragestellungen, welche von großem Interesse für Filmwissenschafter sind, jedoch in der Computer Vision bisher nicht untersucht wurden.<br />Im praktischen Teil dieser Arbeit stellen wir drei neue Forschungsrichtungen und deren mögliche Lösungsansätze ausführlich vor:<br />die Wiederherstellung der originalen Aufnahmesequenz, den Vergleich unterschiedlicher Filmversionen und die Erkennung von wiederkehrenden Elementen in Filmen. Die erzielten Ergebnisse der durchgeführten Experimente weisen zwei wesentliche Charakteristika auf: Erstens, zeitaufwändige Aufgaben in der manuellen Filmanalyse können durch automatisierte Methoden effektiv unterstützt werden. Zweitens, die vorgeschlagen Lösungsansätze öffnen den Raum für weitere Fragestellungen in der Filmanalyse wie zum Beispiel für die Analyse von Montagemustern, die Identifizierung verlorener Bild- und Filmsequenzen und das Erkennen von wiederkehrenden Elemente.<br />

Today, film analysis is still a tedious process performed mostly manually by film experts. Existing computer vision approaches aim at improved retrieval and summarization methods rather than at film understanding. While current research is predominantly focused on the question what can we learn and extract from a film as the final product, this thesis aims at the study of the filmmaking process as a source for high-level content information.<br />The central question of this thesis is what can computer vision methods provide to support film analysis as performed by film expert? We discuss a possible mapping between factors that influence the production, presentation, and perception of movies, their application by means of well-established film techniques, and existing feature extraction methods in computer vision. This novel view on film analysis allows for the exploration and identification of three areas in the domain of automated film analysis and understanding. The first area comprises research tasks that have been subject to active research in the recent past. The second area covers research topics that are not immediately solvable for a fully automated computer vision approach without any prior knowledge. The last area identifies research tasks that are still open in the context of automated film analysis and understanding.<br />Finally, we introduce three novel research questions and possible solutions: camera take reconstruction, film comparison, and recur- ring element detection. Performed experiments reveal two significant potentials. First, they can assist film experts by providing support for tasks that are currently performed manually. Second, proposed algorithms blaze the trail for advanced application scenarios such as the analysis of different montage patterns, the identification of missing shots, the reconstruction of the original film cut, or the detection of recurring elements.