Rule Mining on Knowledge Graph Embeddings : Making Implicit Knowledge Explicit and Explainable

Abstract

Die Erklärbarkeit in maschinell gelernten Modellen, wie etwa bei der Verwendung von Wissensgraphen, stellt nach wie vor ein Problem dar. Ansätze wie die Einbettung dieser Modelle können implizites Wissen lernen, funktionieren jedoch oft wie Black-Box-Modelle. Diese Arbeit zielt darauf ab, das latente Wissen explizit zu machen und dadurch eine Form von Erklärbarkeit für die Schlussfolgerungen dieser Modelle zu schaffen, indem intuitiv verständliche Regeln bereitgestellt werden. Dies wird durch den neuartigen „Rule Mining“-Algorithmus ExpressivE RM erreicht, der in dieser Arbeit vorgestellt wird. Der Algorithmus kombiniert die Vorteile von Regelgenerierungsalgorithmen, wie etwa deren Erklärbarkeit, und das erlernte latente Wissen und die hohe Vorhersagekraft von eingebetteten Wissensgraphen. ExpressivE RM basiert auf dem zugrunde liegenden Modell ExpressivE und verwendet eine zusätzliche Abstraktionsschicht, um Regeln aus dem Basismodell zu extrahieren. Dies stellt einen bedeutenden Schritt auf dem Weg zu erklärbaren Schlussfolgerungen des Basismodells und ähnlicher Modelle dar. Die hier präsentierten Ergebnisse zeigen, wie ExpressivE RM explizite Regeln erstellt, die zur Vervollständigung des Wissensgraphen verwendet werden können. Dabei erreicht der Algorithmus eine vergleichbare Leistung wie der „State-of-the-Art“-Algorithmus AnyBURL. Unser Algorithmus erzeugt zusätzlich Regeln, die fehlende Verbindungen im Graphen ergänzen können, welche von AnyBURL nicht abgedeckt werden. Dies zeigt, dass der Ansatz in der Lage ist, exklusive Regeln und zusätzliches latentes Wissen zu liefern. Die Leistungswerte von ExpressivE RM betragen hits@1, hits@3, hits@10 und einen MRR von .3226 für das vollständige Set an Regeln und .2773 für das exklusive Set an Regeln. Dies beweist, dass die geometrische Interpretation von ExpressivE verwendet werden kann, um ein Set aus Regeln zu erzeugen, das fehlende Verbindungen im Wissensgraph mit hoher Vorhersagekraft in kurzer Zeit herstellen kann.

Explainability in knowledge graph-based machine learning algorithms is a problem because approaches such as knowledge graph embeddings can learn implicit knowledge but act like black box models. This work aims to make the latent knowledge explicit and, therefore, explainable by providing intuitive rules. This is achieved through the novel ExpressivE RM algorithm, a unique approach that combines the benefits of rule miners’ explainability and knowledge graph embeddings’ latent knowledge and high performance. The algorithm, named after its base KGE model with an additional abstraction layer to mine rules from the embedding, is a significant step towards making knowledge graph-based machine learning algorithms more explainable. Our research shows that the ExpressivE RM algorithm performs at a comparable level to the state-of-the-art rule miner AnyBURL, with its own distinct advantages. We created a rule set of symmetry rules that competes with AnyBURL’s rules, and our evaluation showed that our algorithm provides rules of strong performance in knowledge graph completion tasks, which are not covered by AnyBURL. This indicates that our approach can provide exclusive rules and additional (latent) knowledge, with scores of hits@1, hits@3, hits@10 and MRR of .3226 for the complete rule set and .2773 for the exclusive rule set. ExpressivE RM proves that the geometric interpretation of ExpressivE can provide a performant rule set for prediction tasks with latent knowledge available and it provides explainability using rules in a short time.