Title: Syntactic and semantic concepts in audio-visual media
Language: English
Authors: Mitrović, Dalibor 
Zeppelzauer, Matthias 
Qualification level: Doctoral
Keywords: Informationretrieval; Dokumentarfilme; Archivfilme; Filmanalyse; Zwischentitel; Schnitterkennung; Szenenerkennung; Synchrone Montage; Bewegungskomposition; Bildkomposition
Informationretrieval; documentaries; archive film; film analysis; intertitles; shot boundary detection; scene boundary detection; synchronous montage; motion composition; visual composition
Advisor: Breiteneder, Christian 
Assisting Advisor: Kosch, Harald 
Issue Date: 2011
Number of Pages: 293
Qualification level: Doctoral
Abstract: 
In dieser Dissertation untersuchen wir Anforderungen der Filmexperten an das inhaltsbasierte Informationretrieval von Archivfilmen. Aus den abstrakten Anforderungen der Filmexperten leiten wir syntaktische und semantische Konzepte unterschiedlicher Komplexität ab, welche automatisch aus den Filmen extrahiert werden sollen. Die untersuchten Filme stellen durch ihre komplexe Montage und durch ihren schlechten Materialzustand die automatische Analyse vor neue Herausforderungen. Der wissenschaftliche Beitrag dieser Arbeit umfasst Untersuchungen und Analysetechniken für die Extraktion von syntaktischen und semantischen Konzepten aus Archivfilmen. Wir entwickeln Detektoren für Konzepte niedriger Komplexität, wie zum Beispiel Schwarzkader und Zwischentitel und untersuchen die Erkennung von Einstellungsgrenzen. Darüber hinaus beschäftigen wir uns mit Konzepten höherer Komplexität: Wir stellen Methoden für die Erkennung von Filmszenen sowie Sequenzen mit synchroner audiovisueller Montage vor. Weiters untersuchen wir die automatisch Analyse von Bewegungskomposition und Bildkomposition.
Die präsentierten Methoden wurden erfolgreich auf Archiv- und zeitgenössische Filme angewendet. Die Methoden ermöglichen einen effizienten Zugriff auf das Material und unterstützen Filmexperten bei ihren Untersuchungen. Weiters zeigt sich, dass die Methoden den Filmexperten zum Teil neue, das Filmmaterial betreffende, Einsichten ermöglichen.

In recent years tremendous amounts of audio-visual media have become available to the public and increased the demand for efficient retrieval methods. The research community working in content-based media retrieval has mainly focused on specific media types, such as sports videos, news broadcasts, and commercials. A widely neglected media type is historic film. In the context of historic film, film experts have research questions and requirements that are novel for content-based retrieval.
In this thesis, we investigate novel requirements for content-based retrieval of archive film stated by film experts. From the abstract requirements of film experts we first derive specific lower- and higher-level, syntactic and semantic concepts to be retrieved automatically. Next, we develop techniques for the automatic retrieval of these concepts from archive film. The investigated films are challenging for retrieval due to their sophisticated editing and their low material quality.
The contribution of this thesis are novel techniques and investigations for the retrieval of syntactic and semantic concepts in archive film. We develop detectors for lower-level concepts such as black frames and intertitles and perform investigations of shot boundary detection in archive films. We further analyze higher-level concepts: We propose methods for the extraction of scenes and synchronous audio-visual montage sequences and investigate the retrieval of motion- and visual composition.
The developed techniques are successfully applied to archive and contemporary films and enable efficient access to the film material.
Additionally the methods assist film experts in their investigations and enable them to gain novel insights into the films.
URI: https://resolver.obvsg.at/urn:nbn:at:at-ubtuw:1-57253
http://hdl.handle.net/20.500.12708/9656
Library ID: AC07811785
Organisation: E188 - Institut für Softwaretechnik und Interaktive Systeme 
Publication Type: Thesis
Hochschulschrift
Appears in Collections:Thesis

Files in this item:

File Description SizeFormat
Syntactic and semantic concepts in audio-visual media.pdf6.81 MBAdobe PDFThumbnail
 View/Open
Show full item record

Page view(s)

13
checked on Feb 21, 2021

Download(s)

54
checked on Feb 21, 2021

Google ScholarTM

Check


Items in reposiTUm are protected by copyright, with all rights reserved, unless otherwise indicated.