Graphenlernen ist ein Teilgebiet des maschinellen Lernens, das sich auf das Lernen und Extrahieren von Informationen aus Graphdaten konzentriert. In unserer Arbeit konzentrieren wir uns auf Graphen von Molekülen und untersuchen, wie die Struktur dieser Graphen kodiert werden kann. Die Kodierungen unterstützen dann verschiedene Aufgaben in Machine Learning, wie beispielsweise die Klassifizierung von Molekülfunktionen oder die Vorhersage ihrer Wasserlöslichkeit.In den letzten Jahren hat die Transformer-Architektur im Bereich der Verarbeitung natürlicher Sprache große Erfolge erzielt und wurde auch für das Graphenlernen angepasst, wo sie auch eine sehr hohe Leistung erreicht hat. Graphen erfassen Informationen jedoch ganz anders als Textdaten. Das bringt die Herausforderung, wie der Graph kodiert werden muss, damit die Transformer-Architektur ihn lernen kann. Ein besonders wichtiges Konzept des Graphenlernens mit Transformer-basierten Architekturen ist die Positionskodierung von Graphen. Die Positionskodierung eines Graphen ist eine Matrixdarstellung der Graphenstruktur, die in den Transformer integriert wird. Es hat sich gezeigt, dass die Qualität dieser Kodierung einen direkten Einfluss auf die Leistung der Modelle hat. Daher eröffnet die Untersuchung und Verbesserung der Graphenkodierungen die Möglichkeit, das Lernen auf Graphen mit Transformer-Architekturen insgesamt zu verbessern.In unserer Arbeit untersuchen wir zwei Methoden zur Kodierung von Graphstrukturen und integrieren diese Graphkodierungen in den Transformer, um das Lernen zu verbessern. Im Vergleich zu den derzeit verwendeten Methoden untersucht diese Arbeit einen neuen Weg zur Kodierung von Graphstrukturen auf der Grundlage der Faktorisierung der Graph-Adjazenzmatrixen. Die neuartige Kodierung bietet eine Verbesserung gegenüber dem Lernen ohne Positionskodierung und erreicht vergleichbare Ergebnisse zu den besten Methoden auf einem von den drei untersuchten Datensätzen. Damit zeigt sie einen vielversprechenden neuen Weg für die Berechnung von Graphkodierungen für das Graphenlernen mit Transformer-basierten Architekturen auf.
de
Graph learning is a subfield of machine learning that focuses on learning and extracting information from graph data. In our work, we focus on graphs that represent molecules and study how the structure of these graphs can be encoded to aid in machine learning tasks such as classifying molecules based on their function or predicting their water solubility coefficients. In recent years, the Transformer architecture has seen great success in the natural language processing domain and has also been adapted for graph learning, reaching state-of-the-art performance. However, graphs capture information very differently compared to textual data, which poses the challenge of how to encode the graph so that the transformer architecture can learn it. One particular key concept of graph learning with transformer-based architectures is the graph positional encoding. The positional encoding of a graph is a matrix representation of the graph structure, which is then a part of the input for training the transformers. It is shown that the quality of this encoding directly impacts the performance of the models, and hence studying and improving the graph encodings opens the possibility for improving the learning overall.In our work, we study two methods for encoding graph structure and integrate these graph encodings into the transformers, aiming to improve learning. Compared to the currently used methods, this work explores a new path of encoding graph structure based on factorizing the graph adjacency matrix. The novel encoding provides improvement over baselines and matches the state-of-the-art method on one of the studied datasets, showing a promising new path for the computation of graph encodings for graph learning with transformer-based architectures.
