Automatic audio segmentation : segment boundary and structure detection in popular music

Abstract

Automatische Segmentierung von Musikstücken zielt darauf ab, Informationen über die Struktur eines Musikstücks maschinell zu extrahieren. Diese Informationen umfassen die Zeitpunkte von Segmentgrenzen, den allgemeinen musikalischen Aufbau eines Liedes und semantisch sinnvolle Bezeichnungen (Strophe, Refrain, Bridge, u.a.) für viele oder alle Segmente. Mithilfe dieser Daten können repräsentative Hörbeispiele aus Liedern generiert werden um die Navigation in großen Musikkollektionen zu erleichtern. Weiters können dadurch Ergebnisse von nachgeschalteten Anwendungen wie z.B. Query-by-humming verbessert werden.<br />Die vorliegende Masterarbeit präsentiert Verfahren, die einerseits die Segmentgrenzen bestimmen und andererseits die Liedstruktur schematisch abbilden. Zahlreiche Experimente zur Performanzverbesserung und deren Auswirkung auf die Resultate werden beschrieben. Zur Evaluierung der Ergebnisse wird ein großer Korpus verwendet, der verschiedenartige Musikgenres umfasst. Der Evaluierungsprozess selbst wird ausführlich beschrieben.<br />Dies soll die Etablierung eines einheitlichen Prozesses fördern, um zukünftige Ergebnisse besser miteinander vergleichen zu können.<br />

Automatic Audio Segmentation aims at extracting information on a song's structure, i.e., segment boundaries, musical form and semantic labels like verse, chorus, bridge etc. This information can be used to create representative song excerpts or summaries, to facilitate browsing in large music collections or to improve results of subsequent music processing applications like, e.g., query by humming.<br />This thesis features algorithms that extract both segment boundaries and recurrent structures of everyday pop songs. Numerous experiments are carried out to improve performance. For evaluation a large corpus is used that comprises various musical genres.<br />The evaluation process itself is discussed in detail and a reasonable and versatile evaluation system is presented and documented at length to promote a common basis that makes future results more comparable.