Exploration of data streams with self-organizing maps

Abstract

Self-Organizing Maps bieten eine breite Palette von Visualisierungstechniken zur Analyse hochdimensionaler Daten. Die Mehrheit der Methoden basiert auf der statischen Projektion und nur wenige Techniken zeigen die zeitliche Dynamik der Daten, während die Bedeutung des Verständnisses der Datenentwicklung in vielen Bereichen an Bedeutung gewinnt. Die vorliegende Masterarbeit befasst sich mit der Untersuchung von Datenströmen mit Hilfe des SOM-Algorithmus sowie mit dessen Möglichkeiten und Grenzen mit besonderem Schwerpunkt auf großen Datenmengen und der Verarbeitung großer Karten. Die Tatsache, dass die SOM-Visualisierungstechniken in der Regel über unabhängige Bibliotheken verstreut sind, erschwert ihre Integration und vergleichende Anwendung bei der Datenexploration. Daher stellt die vorliegende Arbeit PySOMVis vor, ein Open-Source-Software-Framework in Python realisiert. Dieses enthält zahlreiche Visualisierungstechniken, weiters wird in dieser Arbeit SOMStreamVis vorgestellt, ein neues Ansatz für die visualisierung der Datenströmen, dies bietet ein leistungsfähiges Werkzeug zur Datenexploration.

Self-Organizing Maps provide a wide range of visualization techniques to analyze high dimensional data. The majority of the methods are based on the static projection and only few techniques reveal the data dynamics in time, while the importance of understanding data evolution is gaining importance in many settings. This Master Thesis provides investigation in exploring data streams by the SOM algorithm as well as considering its capabilities and limitations with a particular focus on high-volume data and large-scale map processing. The fact that the SOM visualization techniques are usually scattered across independent libraries makes their integration and comparative application in data exploration difficult. Thus, this thesis provides PySOMVis, an open-source software framework realized in Python containing several visualization techniques. To visualize data streams the novel SOMStreamVis approach resulting in a powerful data exploration tool is presented further in the thesis.