Extending graph neural networks with global features

Abstract

Wir untersuchen die Verwendung globaler Graphmerkmale, um die Ausdruckskraft und die Vorhersageleistung von graph neural networks (GNNs) zu verbessern. Während Message Passing Neural Networks (MPNNs) ein gängiger Ansatz für das Lernen von Graphrepräsentationen sind, sind sie in ihrer Ausdruckskraft beschränkt. Diese Einschränkung beeinträchtigt die Universalität von MPNNs und folglich die Arten von Grapheneigenschaften, die sie darstellen können.Um diese Herausforderungen anzugehen, schlagen wir vor, expressive globale Graphmerkmale in eine Basis-GNN-Architektur zu integrieren. Im Gegensatz zu herkömmlichen Ansätzen, die die Vorhersageleistung entweder durch Änderungen im Message Passing oder durch Modifikation der Graphen (z. B. Hinzufügen zusätzlicher Knotenmerkmale) verbessern, konzentriert sich unsere Methode auf globale Graphmerkmale, die die gesamte Graphstruktur beschreiben. Diese globalen Merkmale, die in Bereichen wie der Chemoinformatik gut etabliert, jedoch in der GNN Literatur oft übersehen sind, können verwendet werden, um wichtige Aspekte des Graphen zu erfassen, die von MPNNs nicht ausgedrückt werden können, wie etwa den Graphendurchmesser oder den längsten Zyklus.Wir ergänzen die von GNNs gelernten Embeddings mit ausgewählten globalen Graphmerkmalen und deren Einfluss auf die Ausdruckskraft und Modellleistung. Wir zeigen, dass 19 der 23 untersuchten globalen Merkmale, wie der Wiener- oder der Hosoya-Index, nachweislich die Ausdruckskraft von MPNNs erhöhen. Unsere empirischen Studien belegen, dass die Integration globaler Graphmerkmale die Vorhersagekraft von GNNs bei molekularen Benchmark-Datensätzen verbessern kann, was auf eine vielversprechende Richtung zur Steigerung der Effektivität von GNN-basierten Modellen hinweist.

We investigate the use of global graph features to enhance the expressive power and predictive performance of graph neural networks (GNNs). While message passing neural networks (MPNNs) are a common approach for learning graph representations, they are inherently limited in their expressive power, which restricts their ability to distinguish between certain graph structures. This limitation impacts the universality of MPNNs, constraining the range of functions they can approximate and, consequently, the types of graph properties they can detect. To address these challenges, we propose a method for incorporating expressive global graph features into any baseline GNN architecture. Unlike traditional approaches that enhance predictive performance by either changing the message passing or modifying the graphs (e.g. attaching additional node features), our method focuses on global graph properties that describe the entire graph structure. These global features, well-established in fields like chemoinformatics but often overlooked by the GNN community, can be used to capture important aspects of the graph not expressible by MPNNs, such as the graph diameter or the longest cycle.We propose to extend the generated embeddings learned by GNNs with selected global graph features, analyzing their impact on expressiveness and model performance. We show that 19 out of the 23 global features we have investigated, like the Wiener or the Hosoya index, provably increase the expressivity of MPNNs. Our empirical studies demonstrate that incorporating global graph features can improve the performance of GNNs on molecular benchmark datasets, suggesting a promising direction for increasing the effectiveness of GNN-based models in graph-level tasks.