Distance based learning in a relational setting and its application to expressive music performance

Abstract

Diese Arbeit beschreibt Forschungen im Bereich des Machinellen Lernens und deren Anwendungen auf musikwissenschaftlichen Fragen. Es wird ein neuer Lernalgorithmus namens DISTALL präsentiert sowie, darauf aufbauend, ein automatisches Lernsystem, das ein schwer fassbares Phänomen in der Musik analysieren und modellieren soll, nämlich ausdrucksvolle Musikinterpretation.<br />Der Lernalgorithmus DISTALL ist im Bereich des relationalen `Instance-based Learning' (IBL) angesiedelt. Obwohl distanz- und instanzbasierte Lernalgorithmen im Bereich des Maschinellen Lernens immer sehr beliebt waren -- vor allem mit propositionalen, attributbasierten Repräsentationssprachen --, ist IBL in mächtigeren relationalen (auf Prädikatenlogik basierenden) Repräsentationen wesentlich schwieriger und weniger erforscht. In der Dissertation werden diese beiden Lernformalismen diskutiert, Vorteile des relationalen Lernens aufgezeigt und die These aufgestellt, dass der kritischste Teil eines relationalen IBL-Lernalgorithmus sein Ähnlichkeitsmaß (zwischen Mengen von Termen) ist.<br />Verschiedene Mengen- Ähnlichkeitsmaße werden rekapituliert, und es wird der Schluss gezogen, dass ein Ähnlichkeitsmaß, das auf optimalem Matching zwischen Mengen basiert, aus zwei wesentlichen Gründen am vielversprechendsten ist: (1) wegen seiner intuitiv überzeugenden und nachvollziehbaren Aspekte und (2) wegen seine klaren theoretischen Eigenschaften. Auf einem solchen Ähnlichkeitsmaß aufbauend wird DISTALL implementiert und im Detail beschrieben.<br />DISTALL wird sodann auf ein schwieriges Lernproblem aus dem Forschungsgebiet der Musikwissenschaft angewendet: Ausgehend von einer großen Zahl von Interpretationen (Aufnahmen) von Konzertpianisten soll der Computer lernen, Musik ausdrucksvoll zu spielen. Die Aufgabe wird als Mehrebenen-Dekompositions- und Vorhersage-Problem modelliert, und es wird gezeigt, dass dieses als relationales Lernproblem darstellbar ist und mittels relationalem IBL bewältigt werden kann. Experimente mit realen Daten, die aus einer beachtlichen Anzahl von Interpretationen eines Wiener Konzertpianisten gewonnen wurden, deuten die Brauchbarkeit unserer Methode an. Speziell wird gezeigt, dass die Vorhersagegenauigkeit von DISTALL die eines herkömmlichen propositionalen k-NN-Algorithmus übertrifft. Direkte experimentellen Vergleiche mit RIBL, einem modernen relationalen Lernalgorithmus, demonstrieren auch die klare Überlegenheit von DISTALL gegenüber RIBL bei dieser Lernaufgabe.<br />Verschiedene weitere Verbesserungen des Lernsystem werden vorgestellt.<br />Eine der Verbesserungen -- die explizite Darstellung zeitlicher Beziehungen -- demonstriert deutlich die Mächtigkeit des relationalen Lernformalismus.<br />In qualitativer Hinsicht stellt sich heraus, dass unser Lernsystem zumindest zum Teil erstaunlich gute Vorhersagen macht. Einige nach dem Lernen vom Konzertpianisten von DISTALL generierte `Aufführungen' weisen erhebliche musikalische Qualität auf: eine davon gewann sogar einen Preis bei einem internationalen `Computer Music Performance'-Wettbewerb.<br />Zwei weitere Anwendungen von DISTALL und seinem Ähnlichkeitsmaß werden sodann in der Dissertation vorgestellt: (1) Wir versuchen festzustellen, mit welchem Niveau an stilistischer `Konsistenz' ein Wiener Konzertpianst verschiedene Mozartsonaten spielt. Mit Hilfe des Ähnlichkeitmaßes von DISTALL kann ein Konzept stilistischer Übereinstimmung definiert werden, das über einfache Notentext- Wiederholungen hinausgeht, und darauf aufbauend wird ein quantitatives Maß von Aufführungs-Übereinstimmung zwischen beliebigen Musikphrasen realisiert, das systematische quantitative Experimente zulässt.<br />(2) Wir studieren eine der interessantesten Probleme, das in dieser Art von Forschung formuliert werden kann: Kann eine Maschine ein formales, prädiktives Modell des Spielstils eines berühmten Pianisten lernen? Wir erkunden, inwieweit die Maschine `expressive Profile' großer Pianisten automatisch bilden kann, nur mit Hilfe von aus Audio-CDs gewonnenen Minimalinformationen und des Notentextes der gespielten Musik. Es stellt sich heraus, dass das auf DISTALL basierende Lernsystem tatsächlich in der Lage ist, `ausdrucksvolle' Interpretationen neuer Musikstücke zu generieren, die zur echten Interpretation des `Trainingspianisten' deutlich ähnlicher sind als zu den Interpretationen aller anderen Pianisten. Eine weitere interessante Anwendung unseres Lernalgorithmus wird schlussendlich noch besprochen: die automatische Erkennung berühmter Pianisten anhand ihres Spielstils. Wie die Experimente zeigen, sind auch bei diesem schwierigen Problem erstaunlich gute Resultate möglich.<br />

This thesis reports about work in the field of machine learning and its applications in musicology. We present a new machine learning algorithm called DISTALL and describe an automated learning system targeting one of the most elusive phenomena in music: to learn to play music expressively.<br />DISTALL is situated in the field of relational instance-based learning (IBL). Although distance- and instance-based learning methods have always been popular in machine learning, IBL in a richer, relational setting is more difficult and has been less explored. We contrast IBL in a propositional setting to relational IBL, discuss advantages of relational representations, and argue that the most critical part of a relational IBL is its set distance measure. After different set distance measures are discussed, we conclude that the set distance measure based on optimal matching is the most appealing for both its intuitive properties and strong theoretical aspects. We construct DISTALL, our new relational IBL algorithm around the optimal matching set distance measure and discuss its algorithmic implementation in detail.<br />DISTALL is applied to a difficult real-world learning task from expressive music performance research: learning, from large numbers of complex performances by concert pianists, to play music expressively. We model the problem as a multi-level decomposition and prediction task. We show that this is a fundamentally relational learning problem, and argue that relational IBL is indeed appropriate to address it. Experiments with data derived from a substantial number of Mozart piano sonata recordings by a skilled concert pianist demonstrate that the approach is viable. We show that DISTALL operating on structured, relational data outperforms a propositional k-NN algorithm. Experiments with a direct comparison to the state of the art relational learner RIBL clearly show DISTALL's superiority to RIBL on this learning task. Various improvements to the learning system are proposed, one of them -- temporal representation -- nicely demonstrating the power of relational formalisms. In qualitative terms, we end up with a system which at least partly makes surprisingly good predictions. Some of the piano performances produced by DISTALL after learning from human artist are of substantial musical quality; one even won a prize in an international `computer music performance' contest.<br />Two further applications of DISTALL and its distance measure are presented: (1) We will try to assess the level of `consistency' of a Viennese concert pianist in playing different Mozart sonatas. With the help of DISTALL's similarity measure we are able to define a concept of consistency which goes beyond simple score repetitions. The level of performer consistency will be assessed between any tho phrases, regardless of similarity~/dissimilarity of the pieces they belong to.<br />(2) We address one of the most interesting questions one can consider in this kind of research: Can a machine build a formal model of the playing style of great pianists? We investigate to what extent a machine can automatically build `expressive profiles' of famous pianists using only minimal performance information extracted from audio CD recordings by these pianists and the printed score of the music. It turns out that the learning system built around DISTALL is able to generate expressive performances on unseen pieces which are substantially closer to the real performances of the `trainer' pianist than those of all others. Finally, another interesting application is discussed: recognizing pianists from their style of playing - a difficult learning problem tackled in the recent literature. We show that surprisingly high accuracy rates can be achieved by using expressive performance profiles predicted by DISTALL for artist recognition.