Score following with dynamic time warping : an automatic page-turner

Abstract

Every pianist is familiar with the problem: Whether at practicing or during a concert it is often difficult to turn the pages of the score but at least it's disturbing. To solve this problem the Viennese company Quidenus invented a device which, controlled by a foot switch, turns pages of musical scores. The idea behind this master thesis is to go even further and to automatize this process completely by using a state-of-the-art score following algorithm.<br />Score following, the process of following a musical performance with respect to the score live and in realtime, is being researched intensely since the mid 1980s. Many methods were proposed, starting with string matching techniques, leading recently to probabilistic algorithms often based on hidden markov models.<br />In this thesis extensions to a known online algorithm based on dynamic time warping are presented which improve both precision and stability.<br />As the structure of a musical piece is fixed in principle but sometimes changed spontaneously by the pianist, a further extension is presented which based on multiple matching algorithms running simultaneously tries to recognize these changes.<br />The result of this master thesis is an easy to use program which, connected to the page turner hardware using USB, follows the score and sends the signal to turn the pages on predefined positions.<br />

Jeder Pianist kennt das Problem: Egal ob während des Übens oder während eines Konzertes, die Notwendigkeit des Umblätterns des Notentextes ist manchmal schwierig zu bewerkstelligen, zumindest aber störend. Um dieses Problem zu lösen hat die Wiener Firma Quidenus ein Gerät entwickelt, das, bedienbar per Fußschalter, Notenhefte umblättert.<br />Die Idee hinter dieser Masterarbeit ist es nun noch einen Schritt weiter zu gehen und diesen Vorgang mithilfe eines State-of-the-Art Score Following Algorithmus vollkommen zu automatisieren.<br />Score Following, also das Verfolgen einer musikalische Darbietung anhand des Notentextes, live und in Echtzeit, wird seit Mitte der 1980er Jahre intensiv untersucht. Seither wurden viele Verfahren vorgeschlagen, anfangs hauptsächlich auf String-Matching Techniken basierend, später vor allem probabilistische Algorithmen, häufig basierend auf Hidden Markov Models.<br />In dieser Masterarbeit wird ein bekannter Online-Algorithmus, basierend auf Dynamic Time Warping, mit einigen Erweiterungen versehen, die sowohl die Präzision, als auch die Stabilität verbessern. Da die Struktur des Musikstückes zwar grundsätzlich festgelegt ist, manchmal aber vom Pianisten spontan geändert wird, wird weiters eine Möglichkeit, basierend auf mehreren parallel laufenden Matching-Algorithmen, beschrieben, die diese Änderungen erkennen kann.<br />Das Ergebnis dieser Masterarbeit ist schließlich ein einfach zu bedienendes Programm, das per USB-Schnittstelle mit der Umblätterhardware verbunden ist, dem Notentext folgt und an vorher vom Benutzer definierten Stellen Umblättersignale sendet.