MeXX : a virtual world for exploring musical concepts

Abstract

Musik an sich und ihre Vielfalt an Eigenschaften inspiriert Wissenschaftler neuartige Software Systeme zu entwickeln welche Musik in unterschiedlichster Art und Weise zugänglich machen. Die hier vorgestellte Diplomarbeit konzentriert sich auf moderne Musik Systeme welche auf eine traditionelle, hierarchische Anordnung von Musik verzichten um diese zu durchforschen und zu erleben. 2- und 3 dimensionale Visualisierungssysteme aus den Bereichen Music Information Retrieval, Virtuelle Umgebungen und Musik-Basierten Spielen, wurden dazu im theoretischen Teil analysiert und evaluiert.<br />Der praktische Teil präsentiert die Entwicklung einer virtuellen Musikwelt welche eine sowohl audielle als auch visuelle Präsentation von Musikstücken in einem virtuellen Umfeld - der 3D Welt - ermöglicht.<br />Diese 3D Welt besitzt die Möglichkeiten, Musik in einer virtuellen Umgebung zu konsumieren als auch als Spiel das Verständnis des Benutzers für musikalische Konzepte zu trainieren.<br />Musikstücken lassen sich grundsätzlich immer unterschiedlichste Eigenschaften zuordnen. Die Grundlage der 3D Welt bilden vier spezielle Eigenschaften; das Genre, die Stimmung, das Tempo und das Erscheinungsjahr. Diese sind mit den Musikstücken in einer Datenbank gespeichert welche noch zusätzliche Informationen über Künstler und Alben enthält. Die Musikstücke werden visualisiert indem sie als Objekte in der 3D Welt dargestellt werden. Diese wird gebildet indem zwei Eigenschaften der Musikstücke den beiden Basisachsen der 3D Welt zugeordnet werden. Die Musikstücke sind demzufolge in der 3D Welt durch diese beiden Eigenschaften eindeutig positioniert. Optional lässt sich eine dritte Eigenschaft für die farbliche Darstellung der Objekte verwenden. Durch Navigation besteht die Möglichkeit die Welt zu durchwandern und die Musikstücke anzuhören. Ein 3D Sound System gibt die Musikstücke als räumlichen Sound wieder mit der Möglichkeit zur Überblendung mehrerer Musikstücke, Richtung und Lautstärke sind dabei von der Position des Betrachters abhängig. Abhängig von der Fülle an Informationen in der Musikdatenbank lassen sich unterschiedlichste Erkenntnisse in unterhaltsamer Weise gewinnen.<br />Dies kann beispielsweise die Entwicklung eines Genres über die Jahre oder auch die Verteilung von Musikstücken eines einzigen Künstlers in der 3D Welt sein. Die Spieloption erfordert, eine bestimmte Anzahl an Musikstücken korrekt in der 3D Welt einzuordnen. Da die Welt basierend auf den Eigenschaften der Musikstücke aufgebaut ist, wird der Spieler angeregt, diese ausschließlich durch anhören zu erkennen. Das Spiel wurde mit dem Ziel entwickelt das Gespür des Benutzers für Musik zu trainieren. Das System hat den Namen MeXX und ist als Single-User Java Applikation konzipiert. Die eigentliche 3D Welt wurde mit Hilfe der Java3D API realisiert. Der 3D Sound wurde durch die PointSound Implementierung der Java3D API und dem JOALMixer als geeignetem Audio Mixer bewerkstelligt.

Music itself and its richness on features inspire scientists to develop novel software systems that deal with music in a wide variety.<br />This master thesis focuses on modern music visualization systems which go beyond traditional directory structures to organize and represent music. They are actively being implemented by researches to provide users with a novel interface in music browsing and experiencing in a 2- or 3-dimensional fashion. Music systems out of the areas Music Information Retrieval, Virtual Environments and Music-Based Games have been analyzed and evaluated in the theoretical part.<br />The practical part of this thesis presents a virtual music world which offers both an aural and a visual presentation of music pieces inside a virtual environment - the 3D world. It has been realized as a Java implementation with the options to consume music in a virtual environment and to train a user's sense of music in an entertaining way by a game.<br />Generally a large variety of features can be attached at all times to music pieces. The foundation for the 3D world is formed by four particular features; the genre, the mood, the tempo and the year of publication. A database stores those features including the music pieces as well as other information about artists and album. A selective access to the database is enabled by a filter.<br />The music pieces are visualized as they are displayed as objects in the 3D world. This world is formed by two selectable features of the music pieces being mapped to the two axes of the 3D world spanning the ground.<br />As a result the music pieces are unambiguously positioned in the 3D world by these two features. Optionally a third feature can be used for color encoding of the objects. The third spatial dimension of the 3D world is used only for display purposes. Integrated navigation enables to visit the 3D world and to look at and listen to the music pieces. The implementation of a 3D sound system enables the playback of the music pieces as spatial sound including cross-fading of several music pieces, direction and volume are thereby depending on the visitor's position.<br />Depending on the information a music repository contains, a variety of perceptions of and insights into music may be entertainingly obtained.<br />This can be for instance the development of genres over the years as well as monitoring the distribution of several artworks of a single artist inside the 3D world. The game option presents a subset of music pieces that need to be assigned at correct positions within the 3D world. Since the features of those music pieces need to be identified by listening to conclude their position, the game challenges the appreciation for music again in an entertaining way.<br />The system is given the name MeXX and is a single-user Java application.<br />The 3D world itself and its contents have been developed using the Java3D API. The 3D sounds are established through Java3D`s PointSound implementation in combination with the JOALMixer as an adequate audio device.