Retrieval and visualization of subjective artist similarity for music libraries on Android devices

Abstract

Musik und die Intonation derselben ist seit langem ein wichtiger Bestandteil der menschlichen Kultur. Mit dem technischen Fortschritt und den dadurch entstehenden Geräten wurde die Wie- dergabe von zuvor aufgenommenen Klängen möglich und wiederum zu einer kulturellen Kom- ponente von zentraler Bedeutung. Die Digitalisierung von Musikaufnahmen sorgte dann nicht nur für exzellente Tonqualität, sondern ermöglichte auch die Kopie von ganzen Musiksamm- lungen über das Internet in Minutenschnelle. Dadurch bedingt sind in den letzten Jahren neue Geschäftsmodelle entstanden, die dem Benutzer große Mengen an Musiktiteln zur Wiederga- be mittels Streaming-Technologie zur Verfügung stellen, gegen einen vergleichsweise geringen monatlichen Betrag. Da sich die Bedienungsoberflächen für Musikwiedergabe-Software in den letzten Jahren jedoch kaum verändert haben, sind diese nicht für die Suche und Exploration in derart großen Kollektionen optimiert. Die Aufgabenstellung dieser Master's Thesis ist es, eine vielversprechende Anordnung von Musik im 2D-Raum für mobile Applikationen - durch Ein- bezug der Ähnlichkeit der dargestellten Künstler - zu untersuchen. Die Fragestellungen der The- sis sind, ob die ausgewählte Berechnungsmethode von Musik-Ähnlichkeit (Multi-Dimensional Scaling) in mobilen Apps realistischerweise einsetzbar ist, und ob die 2D-Darstellung der Mu- siksammlung zum Suchen und Entdecken von Musik gut geeignet ist.<br />Durch die Findung und Optimierung von Methoden zur effizienten Erlangung von Musik- Ähnlichkeit und Konstruktion einer prototypischen Android App werden diese Fragen auf ihre technische Machbarkeit überprüft. Im Anschluss wird eine Benutzerstudie geplant und durch- geführt, die wichtige Aspekte des Prototyps mit anderen bestehenden Musik-Apps für Android vergleicht. Unter anderem wird erhoben, ob der Prototyp ein leichteres Bilden eines menta- len Modells von der Musiksammlung erlaubt, oder ob Inhalte schneller gefunden werden kön- nen. Obwohl die Anzahl der Studienteilnehmer für statistisch signifikante Aussagen zu klein ist, können doch nützliche Schlüsse gezogen werden: Die Verwendung einer 2D-Darstellung von Musikkünstlern unter Einbezug ihrer gegenseitigen Ähnlichkeit scheint sich positiv auf das Merkvermögen des Benutzers auszuwirken - es ist möglich, dass dadurch ein aussagekräftige- res mentales Modell gebildet werden kann. Auf das Suchen und Entdecken von scheint diese Darstellungsvariante keine großen Vorteile gegenüber anderen Formen aufzuweisen. Unter Au- ßerachtlassung von reinen Listen-basierten Darstellungsformen scheint die untersuchte Visuali- sierungsmethode jedoch auch in diesen Aufgabenbereichen vorteilhaft.<br />Es wird abschließend festgehalten, dass es sich um ein vielversprechendes Konzept handelt, aber dass weitere Forschung notwendig wäre, um gefundene Probleme zu beheben.<br />

Music and its interpretation has long been an important part of human culture. Technical ad- vancements and resulting technologies have made playback of previously recorded sounds pos- sible, and playback has also become an integral cultural component of high importance. Digital- ization of music recordings has not only introduced superior sound quality to everybody's living room, but has also enabled transmission of large music collections over the internet in the matter of minutes. This advancements resulted in a new class of business models which provide cus- tomers with huge music collections via streaming technology, for a considerably small monthly fee. Since user interfaces for music playback software have not changed much in the last years, they are not necessarily optimized for search and exploration in collections of millions of music files. The scope of this master's thesis is to investigate a promising ordered visualization of mu- sic in 2D space - through utilization of artist similarity - for mobile applications.<br />Whether the chosen method to compute music similarity (multi-dimensional scaling) can be used feasibly in the context of mobile apps, and whether 2D visualization of music collections is well suited for search and exploration of objects therein, are the main questions this thesis will concentrate on.<br />These questions are investigated on their techical feasibility by finding and optimizing meth- ods for the efficient retrieval of music similarity, and through the construction of an Android app prototype.<br />Subsequently, a user study is planned and carried out, comparing important aspects of the prototype with other existing music apps for Android. Among the investigated properties is the question whether the prototype allows for an easier or better forming of a mental model of a music collection. Also, the study tries to find out whether contents can be found quicker within a collection. Although the number of study participants is too small for statistically sig- nificant conclusions, hints and possible explanations can be derived: The implementation of a 2D visualization of music artists (incorporating their similarity) seems to positively affect the users' memorization ability of contained objects. It's possible that a better or more stable mental model can be built in this context. Search and exploration of objects in a music collection seem to not be positively affected by the proposed visualization, as compared to other forms. How- ever, leaving aside list-based visualization forms, the prototype performed comparably well for search and exploration.<br />It is concluded that the proposed concepts are promising, but that further research is neces- sary to resolve the problems which have been found.