Impact of knowledge graph characteristics on embedding performance for link prediction

Abstract

This thesis investigates how the intrinsic structural and semantic characteristics of real-world knowledge graphs influence the performance of knowledge graph embedding (KGE) models on link prediction. Rather than relying on curated benchmarks such as FB15k or WN18, the analysis is conducted on six national subsets of the European railway Register of Infrastructure (RINF), an operational, ontology-grounded knowledge graph. To study characteristic-driven effects under controlled but realistic conditions, this work introduces a framework that systematically generates graph variants along two axes: structural variants that target node degree and relation frequency, and semantic variants that introduce inverse or symmetric relational constructions. Experiments are carried out across representative KGE model families (translation-based, factorization-based, and neural) and evaluated using MRR, Hits@10, and the ontology-aware sem@10 metric.The results show that link prediction quality depends heavily on graph density and is disproportionately supported by a small number of highly connected entities and frequently used relations. Removing these structural hubs before training causes the steepest performance drops, confirming that KGE models rely strongly on the densest regions of the graph. Frequent relations play a more nuanced role: at evaluation time they often appear noisy and uninformative, yet during training they supply much of the structural context that the models depend on. Adding semantic structure through inverse or symmetric relations consistently improves performance on the unperturbed graph, but the two strategies respond differently when the graph is then disturbed, and the same pattern holds whether disturbance is defined in terms of node degree or relation frequency. The symmetric graph is the most robust when whole hubs or whole frequent relations are removed before training, whereas the inverse graph is the most robust when the graph is instead sparsified by deleting individual triples, with deletion biased toward triples involving connected hubs or frequent predicates. Overall, this thesis provides empirical guidance for selecting and evaluating KGE models on operational knowledge graphs and shows that observed performance reflects not only model capacity but also how structural and semantic evidence is distributed across the graph.

Diese Arbeit untersucht, wie sich die intrinsischen strukturellen und semantischen Eigenschaften realer Wissensgraphen auf die Leistungsfähigkeit von Knowledge-Graph-Embedding-Modellen (KGE) bei der Link-Vorhersage auswirken. Anstatt sich auf kuratierte Benchmark-Datensätze wie FB15k oder WN18 zu stützen, wird die Analyse auf sechs nationalen Teilgraphen des europäischen Eisenbahninfrastrukturregisters (Register of Infrastructure, RINF) durchgeführt, einem operativen, ontologiebasierten Wissensgraphen. Um charakteristikgetriebene Effekte unter kontrollierten, aber realistischen Bedingungen zu untersuchen, wird in dieser Arbeit ein Rahmenwerk eingeführt, das systematisch Graphvarianten entlang zweier Achsen erzeugt: strukturelle Varianten, die auf den Knotengrad und die Relationshäufigkeit abzielen, sowie semantische Varianten, die inverse oder symmetrische Relationskonstruktionen einführen. Die Experimente werden mit repräsentativen Familien von KGE-Modellen (translationsbasiert, faktorisierungsbasiert und neuronal) durchgeführt und anhand der Metriken MRR, Hits@10 sowie der ontologiebewussten Kennzahl sem@10 evaluiert. Die Ergebnisse zeigen, dass die Qualität der Link-Vorhersage stark von der Graphdichte abhängt und in unverhältnismäßig hohem Maße von einer kleinen Anzahl stark verbundener Entitäten und häufig verwendeter Relationen getragen wird. Das Entfernen dieser strukturellen Hubs vor dem Training führt zu den stärksten Leistungseinbußen und bestätigt, dass KGE-Modelle in hohem Maße auf die dichtesten Regionen des Graphen angewiesen sind. Häufige Relationen spielen eine differenziertere Rolle: Zur Evaluierungszeit erscheinen sie oft verrauscht und wenig informativ, doch während des Trainings liefern sie einen Großteil des strukturellen Kontexts, auf den die Modelle angewiesen sind. Das Hinzufügen semantischer Struktur durch inverse oder symmetrische Relationen verbessert die Leistung auf dem ungestörten Graphen durchgängig, doch die beiden Strategien reagieren unterschiedlich, wenn der Graph anschließend gestört wird, wobei dasselbe Muster sowohl bei einer auf den Knotengrad als auch auf die Relationshäufigkeit bezogenen Störung auftritt. Der symmetrische Graph ist am robustesten, wenn vollständige Hubs oder vollständige häufige Relationen vor dem Training entfernt werden, während der inverse Graph am robustesten ist, wenn der Graph stattdessen durch das Löschen einzelner Tripel ausgedünnt wird, wobei die Löschung Tripel bevorzugt, die verbundene Hubs oder häufige Prädikate betreffen. Insgesamt liefert diese Arbeit empirische Hinweise für die Auswahl und Bewertung von KGE-Modellen auf operativen Wissensgraphen und zeigt, dass die beobachtete Leistung nicht nur die Kapazität des Modells widerspiegelt, sondern auch, wie strukturelle und semantische Evidenz im Graphen verteilt ist.