Recursive rule injection in knowledge graphs : Exploiting logical knowledge in machine learning

Abstract

Knowledge Graphs (KGs) sind ein vielversprechendes Forschungsgebiet in der Künstlichen Intelligenz und werden verwendet, um Wissen zu repräsentieren, zu verwalten und zu verarbeiten. Eine Stärke von ihnen ist es, symbolisches Wissen zu repräsentieren. Jedoch kann die Manipulation von diesem Wissen spezielle Probleme verursachen. Aus diesem Grund wandelt das Forschungsgebiet der Knowledge Graph Embeddings (KGEs) das symbolische Wissen der KGs in den sub-symbolisches Raum um. Allerdings basieren KGs häufig auf fehlerhaften und nicht kompletten Datensätzen. Das Trainieren der KGEs mit unvollständigen Daten ist eine Herausforderung. Der Verlust der Erklärbarkeit im sub-symbolischen Raum stellt ein weiteres Problem dar. Um genau diese zwei Probleme zu beheben, wurden Embedding Modelle entwickelt, welche teilweise erklärbar sind. Diese Modelle erlauben es, wertvolles Hintergrundwissen, welches im KG in Form von logischen Regeln bereits enthalten ist, in den Lernprozess der KGEs zu integrieren. Bisher wurden einige Ansätze zur Einarbeitung von Hintergrundwissen veröffentlicht. Es gibt eine Vielfalt von logischen Regelarten, jedoch unterstützen derzeitige Ansätze nur einen Teil von diesen Arten. Eine sehr wichtige und nicht unterstützte Art, welche fundamentale Möglichkeiten zum logischen Schließen in Graphen erlaubt, sind rekursive logische Regeln. Diese Diplomarbeit hat eine Methode entwickelt, welche es ermöglicht rekursives logisches Wissen mit KGEs zu vereinigen. Deshalb wurde ein existierendes KGE Modell adaptiert, welches die vorgeschlagene Methode unterstützt. Zusätzlich wurde ein neues KGE Modell im hyperbolischen Raum eingeführt, welches ebenfalls diese Methode unterstützt. Die Verwendung von nichteuklidischen Räumen als Repräsentationsraum bietet einige Vorteile, wie zum Beispiel die Möglichkeit gewisse Daten mit einer zugrundeliegenden Struktur, welche nicht im euklidischen Raum erfasst werden können, zu repräsentieren. Dieses Forschungsgebiet findet in den letzten Jahren große Beachtung. Die Modelle wurden implementiert und mithilfe von DBPedia und synthetisch generierten Datensätzen evaluiert. Die Evaluation zeigt, dass die Einarbeitung von rekursiven Regeln die Performanz der Modelle für alle Datensätze für nichteuklidische sowie euklidische Modelle verbessert. Zusätzlich konnte unser Ansatz ein hyperbolisches State of the Art Modell in einer Metrik übertreffen.

Knowledge Graphs (KGs) are one of the most significant fields of research in Artificial Intelligence today. KGs, in broad terms, represent, manage, and process knowledge. They are exceptionally effective at representing symbolic knowledge. However, utilising symbolic knowledge may pose unique difficulties. To enable effective manipulation of this knowledge, the field of Knowledge Graph Embeddings (KGEs) maps KGs into sub-symbolic space. However, KGs frequently encounter noisy and incomplete data. This fact represents a challenge for KGEs, which are trained on this sparse and noisy data. Another limitation of current KGE models is that explainability in latent sub-symbolic space is usually lost. Therefore, KGE models were developed that allow for some interpretation, which additionally allows the injection of precious knowledge in the form of logical rules that the KG already provides. There are already some approaches that support the injection of background knowledge, but they are few in number. Existing approaches, however, do not support all types of logical rules, including recursive rules. Recursive rules represent the fundamental means of reasoning in graphs and are thus an essential rule type. Therefore, this thesis develops and evaluates a method to inject recursive logical knowledge into KGEs. As a result, an existing KGE approach is adapted to support the proposed method. Additionally, we propose a novel KGE model in hyperbolic space that supports the method to inject recursive logical knowledge. Changing the representation space from Euclidean to non-Euclidean provides several benefits. Non-Euclidean geometry has the advantage of being able to express certain data with an underlying structure that cannot be represented in Euclidean space. This area has received considerable interest in recent years. These models are implemented and validated using datasets retrieved from DBPedia and generated synthetically. The evaluation demonstrates that injecting recursive rules increases the performance of Euclidean and non-Euclidean KGEs across all datasets. Additionally, our approach outperforms a state-of-the-art hyperbolic model in one particular metric.