Prototypical visualization : using prototypical networks for visualizing large unstructured data

Abstract

Das Untersuchen und Verstehen von Daten sind alltäglicher Bestandteil der Arbeit vieler Fachläute. Das kann ein schwieriges Unterfangen sein, wenn die Menge an Daten so groß ist, dass sie schwer zu überschauen sind. Eine sehr effektive Methode, um einen schnellen Überblick über die Strukturen und Zusammenhänge in einem Datensatz zubekommen, ist diesen visuell darzustellen. Oft ist dies aber aufgrund der Größe und hochdimensionalen Charakteristik des Datensatzes nicht so leicht möglich. Machine Learning Modelle können zwar mit der Organisation und Klassifizierung der Daten helfen, jedoch benötigen diese oft Unmengen an beschrifteten Trainingsdaten, welche oft kostspielig und umständlich zu beschaffen sind. Deshalb sind Modelle besonders interessant, welche Daten zuverlässig auf Basis von nur wenigen Beispieldaten klassifizieren können. Eine solche Art von Modellen sind sogenannte prototypische Netzwerke. Diese sind in der Lage, Daten so in einen niedrigdimensionalen Raum einzubetten, dass sich ähnliche Daten um einen klassenspezifischen Prototypen scharen. Im Rahmen dieser Arbeit untersuchen wir, ob der Einbettungsraum eines prototypischen Netzwerks eine brauchbare Methode darstellt, um hoch-dimensionale Daten in einem zwei-dimensionalen Scatter Plot zu visualisieren. Das Ziel ist es, die Dimensionalität von Daten mit Hilfe eines prototypischen Netzwerks so zu reduzieren, dass die hoch-dimensionalen Strukturen und Relationen erhalten bleiben. Daraus soll eine zweidimensionale Repräsentation der Daten entstehen, in welcher ähnliche Datenpunktezusammenhängende Gruppierungen bilden. Diesen Ansatz vergleichen wir mit anderen überwachten und unüberwachten Methoden zur Reduzierung der Datendimensionalität. Mit Hilfe quantitativer Experimente, in denen wir die Separierung verschiedener Klassen von Daten anhand statistischer Größen bemessen, sowie qualitativer Untersuchung unserer Ergebnisse, kommen wir zu dem Schluss, dass unser ProtoNet Ansatz eine genau so gute, wenn nicht bessere, Separierung der Daten erzeugen kann wie die anderen untersuchten Methoden.

Making sense of data is something that many professionals are required to do on a daily basis. This can be a difficult task if the amount of data is so large that it can not be easily examined. One effective method of quickly getting an overview of data structure is visualization, but this is not always a feasible solution with large data due to the sheer amount of data and also the potentially high dimensionality. Machine learning models can help with with the organization and classification of data, but they often require large quantities of labeled training data, which is frequently not readily available. This is why models that can reliably classify data based on only few examples for each class are an interesting topic of research. One such kind of model are prototypical networks. They utilize few samples to create an embedding space in fewer dimensions, in which similar data points cluster around a single class prototype. In this thesis, we investigate if the embedding space of a prototypical network makes for a good approach for the purpose of visualizing high-dimensional, unstructured data. The goal is to reduce the dimensionality of the data in such a way that the highdimensional relations and structures between data points are preserved, resulting in 2D representations of the data that form coherent class clusters in a scatter plot visualization. This approach is compared with, and evaluated against, other well known supervised and unsupervised dimensionality reduction techniques. Through quantitative experiments relying on statistical measures, as well as a qualitative evaluation of our results, we find that our ProtoNet is capable of producing point embeddings in which the spatial separation of classes is as good or better than the other methods.