Automatic chord detection in polyphonic audio data

Abstract

Die automatische Analyse digitalisierter Musikaufnahmen hat eine lange Tradition. Viele Aufgaben die für einen Menschen leicht lösbar sind, wie das Unterscheiden verschiedener Instrumente, das Erkennen des Rhythmus oder der Harmonien sind für den Computer jedoch noch nicht gelöst.<br />Speziell von einem automatischen Transkriptionssystem, das aus einer digitalen Musikaufnahme eine Partitur erstellt, ist man trotz jahrzehntelanger Forschung noch weit entfernt. Diese Arbeit beschäftigt sich mit einem Teilproblem der automatischen Transkripition der Akkorderkennung.<br />Diese ist besonders interessant, weil Akkorde vergleichsweise simple und robuste, also über längere Zeitspannen gleich bleibende Strukturen sind, gleichzeitig aber die harmonischen Eigenschaften eines Musikstücks vollständig beschreiben. So können Musiker eine Melodie allein anhand vorgegebener Akkordsymbole begleiten. Ein weiteres Anwendungsgebiet dieser Arbeit stellt die automatisierte Annotation von Musikdaten dar. In einem Musikarchiv kann so nach bestimmten Akkordfolgen, harmonischen und emotionalen Eigenschaften gesucht werden.<br />Bisherige Ansätze zur Akkorderkennung machen teilweise große Einschränkungen auf die zu analysierenden Musikdaten, indem sie sich zum Beispiel auf die Analyse von Musikstücken ohne Schlagzeug oder Gesang beschränken. Weiters bezieht ein Großteil der bestehenden Arbeiten musiktheoretische Regeln nicht in die Analyse mit ein und lässt dadurch hilfreiche Zusatzinformation zur Akkorderkennung unberücksichtigt. Das Ziel dieser Arbeit ist es, einen Algorithmus zu entwickeln, der auf Musikstücken mit beliebiger Instrumentierung arbeitet und dabei musiktheoretisches Wissen zu berücksichtigen. So fließen in den hier entworfenen Algorithmus Rhythmus, Tonart und das Wissen um Häufigkeiten von Akkordwechseln in die Akkorderkennung ein. Eine durchschnittliche Erkennungsrate von 65% auf 19 Teststücken aus dem Gebiet der Unterhaltungmusik der letzten Jahrzehnte wurde erreicht und untermauert die Stärke dieses Ansatzes.<br />

Automatic analysis of digital audio data has a long tradition.<br />Many tasks that humans solve easily, like distinguishing the constituting instrument in polyphonic audio or the recognition of rhythm or harmonies are still not solved for computers. Especially the development of an automatic transcription system that computes the score out of a music recording is still a distant prospect despite decadeslong research efforts. This thesis deals with a subproblem of automatic transcription - automatic chord detection. Chord detection is particularly interesting as chords are comparatively simple and stable structures, and at the same time completely describe the harmonic properties of a piece of music. Thus musicians are able to accompany a melody solely by provided chord symbols.<br />Another application of this thesis is automatic annotation of music. An annotated music database can then be searched for specific chord sequences and harmonic or emotional characteristics.<br />Previous approaches to chord detection often severely restricted the types of analysable music by considering for example only performances without percussion or vocals.<br />In addition a large part of existing approaches does not integrate music theoretical knowledge in their analysis, thus renouncing helpful additional information for chord detection. The goal of this thesis was to design an algorithm that operates on musical pieces of arbitrary instrumentation and considers music theoretical knowledge. Thus the developed algorithm incorporates rhythm, tonality and knowledge about the common frequencies of chordchanges.<br />An average accuracy rate of 65% has been achieved on a test set of 19 popular songs of the last decades and confirms the strength of this approach.