Visual analytics for graph deep learning : case study neuron clustering

Abstract

Viele Deep-Learning-Anwendungen basieren auf Graphdaten, um Beziehungen oder Strukturen zu analysieren. Das Annotieren dieser Daten ist teuer und erfordert oft Expertenwissen. Im Kontext von Graphen-Bündelung erzeugt die Stand-der-Technik-Methode GraphDINO Graphen-Repräsentationen durch Selbst-Überwachung und bündelt diese in einem nachgelagerten Prozess. Wir beobachten an einem besonders anspruchsvollen Neuronendatensatz, dass diese Methode nicht zu zufriedenstellenden Bündelungsergebnissen führt. Daher verwenden wir die von GraphDINO erzeugten Graphen-Repräsentationen als Ausgangspunkt um die Modell-Architektur und das Modell-Training zu verbessern. Dazu haben wir das Visual-Analytics-Framework NetDive entwickelt. Die Benutzer*in kann die Graphen-Repräsentationen analysieren und einzelne Neuronen kennzeichnen, die falsch zugeordnet sind. Diese Annotationen werden daraufhin zum Trainieren eines semi-überwachten Modells verwendet. Wir haben die Netzwerk-Architektur GraphPAWS entwickelt, welche die Annotationen verarbeitet. GraphPAWS enthält Komponenten von GraphDINO und der semi-überwachten Netzwerk-Architektur PAWS. Das Modell-Training kann aus der Visual-Analytics-Anwendung NetDive heraus gestartet werden, und die resultierenden Graphen-Repräsentationen sind in NetDive verfügbar, sobald das Training abgeschlossen ist. Wir demonstrieren, wie wir das Modell mit NetDive und GraphPAWS iterativ trainieren, und vergleichen die Ergebnisse unseres Modells mit den Ergebnissen mit dem selbst-überwachten Stand der Technik für unseren Datensatz.

Many deep learning applications are based on graph data in order to explore relationships or to analyze structures. Labeling this data is expensive and often requires expert knowledge. For the application of graph clustering to neuron data, the SOTA method GraphDINO generates self-supervised graph embeddings combined with the downstream task of clustering these embeddings. We observe on a particularly challenging neuron dataset that this method does not lead to satisfying clustering results. Therefore we use the graph embeddings generated by GraphDINO as an initial starting point to improve the network and to guide the network training. To achieve this, we developed the visual analytics framework NetDive. The user can analyze the graph embeddings and label single neurons that are falsely clustered. This annotation information is then used to train a semi-supervised model. To this end, we developed a network architecture, named GraphPAWS, that assembles components of GraphDINO and of the semi-supervised network architecture PAWS. The model training can be started from within the visual analytics application NetDive and the resulting graph embeddings are available in NetDive as soon as the retraining is completed. We demonstrate how we iteratively train the model using NetDive and GraphPAWS and evaluate our model against the self-supervised SOTA for our dataset.