Atlantis : or towards a multi-modal approach to music information retrieval and its visualisation

Abstract

Versierte Verfahren zur Organisation von Musikkollektionen bilden die Grundlage für eine Vielzahl von Anwendungen. Hier wird besonders auf vorhandene Probleme eingegangen, es werden bestehende Techniken und deren Unzulänglichkeiten beschrieben, aber auch alternative Benutzerschnittstellen fuer Musikarchive und darauf aufbauend neue Moeglichkeiten zur Interaktion erklaert. Dabei wird besonders auf Self-Organising Maps, selbstorganisierende Neuronale Netzwerke zum Clustering von hochdimensionalen Daten, und ihre Verwendbarkeit für Musikorganisation diskutiert. Um der vielseitigen, oft zu komplexen Information, die in Musikdaten stecken kann, gerecht zu werden, werden Datenbeschreibungen, die über traditionelle Repräsentationen hinausgehen, untersucht. Traditionell verwendet die Music Information Retrieval Community auf Signalverarbeitung aufbauende Merkmalssets für Audiodaten. In dieser Arbeit wird vor allem auf textbasierte Features und deren Informationsgehalt in Bezug auf Diskriminanz zwischen Genres eingegangen. Außerdem werden die Möglichkeiten untersucht, die sich für kombinierte Empfehlung von ähnlichen Songs ergeben. Dabei wird der Einfluss von Genre-, Artist- und Albenbeschreibungen auf die Musikempfehlungen untersucht. Weiters wird ein neuer Ansatz zur Visualisierung von multimodalen Repräsentationen für Audio beschrieben. Eine Audiokollektion kann demnach nach verschiedenen Repräsentationen geclustert werden: Audiofeatures und Textfeatures auf Basis von Song Lyrics. Die entstehenden Clusterings werden graphisch aufbereitet und mittels eines Sets von Kennzahlen verglichen.

Various aspects of the organisation of media archives and collections have produced eager interest in recent years. The Music Information Retrieval community has been gaining many insights into the area of abstract representations of music by means of audio signal processing. On top of that, recommendation engines are built to provide novel ways of creating playlists based on users' preferences. Another important application of audio representation is automatic genre categorisation, i.e. the automatic assignment of genre tags to untagged audio files. However, for many applications representation based on audio features only do not contain enough information. A song's lyrics often describe its genre better than what it sounds like, e.g.<br />`Christmas carols' or `love songs'. Therefore, approaches for the combination of additional data like song lyrics, artist biographies, or album reviews for music recommendation are examined. Further, the application of the Self-Organising Map for clustering, i.e. the mapping from the resultant high-dimensional feature spaces onto two-dimensional maps, for explorative analysis of audio collections with respect to multi-modal feature sets is investigated (audio / text). Additionally, a new visualisation for simultaneous display of multi-modal clusterings as well as cluster validation metrics are presented. Finally, a short overview and outlook on future work is given.