Deep learning für das Semantic Web

Abstract

Das Semantic Web markiert den nächsten Meilenstein in der Entwicklung des World Wide Web und verkörpert das Ziel Maschinen effektiven Zugriff auf und automatisierte Interpretation von Daten im Web zu ermöglichen. Damit soll es Anwendung gestattet werden, die den Daten inhärente Bedeutung ohne menschlicher Hilfestellung zu erfassen und autonom Schlussfolgerungen daraus abzuleiten. In der Praxis hat sich jedoch gezeigt, dass derartiges Schlussfolgern von einer Reihe verschiedener Umstände erschwert wird. Darunter finden sich altbekannte Probleme, welche im Zusammenhang mit Datenbanken beinahe alltäglich auftreten, wie etwa unvollständige Daten oder widersprüchliche Informationen. Daneben sehen wir uns allerdings auch mit neuen Herausforderungen konfrontiert, etwa Schlussfolgern im Angesicht enormer Datenmengen entsprechend jenen des World Wide Web oder die effektive Konstruktion ausdrucksstarker Wissensbasen. Viele der angetroffenen Erschwernisse sind jedoch nicht dem Konzept des Semantic Web an sich geschuldet. Tatsächlich ist es so, dass die Wurzel des Problems oftmals jene Technologien sind, die automatisches Schließen auf Basis klassischer Logik realisieren. Als Folge daraus, kommen nun zunehmend auch alternative Ansätze, wie etwa Methoden aus dem Bereich Machine Learning, im Kontext des Semantic Web zum Einsatz. Die vorliegende Arbeit widmet sich ebendiesem Ansatz und untersucht den Einsatz von Deep Learning im Zusammenhang mit Instance Checking. Dabei handelt es sich um ein bestimmtes Problem automatisierten Schlussfolgerns von großer praktischer Relevanz. Zur Lösung dieses Problems entwickle ich ein neuartiges Modell und vergleiche dieses mit dem State-of-the-Art jener Methoden, welche Schlussfolgern ebenso unter Verwendung von Machine Learning umsetzen. Dabei wird sich zeigen, dass dieses neue Modell durchaus wettbewerbsfähig ist und den bestehenden State-of-the-Art teilweise sogar übertrifft. Das wichtigste Ergebnis dieser Arbeit ist jedoch eine Verallgemeinerung von Recursive Neural Tensor Networks auf beliebige relationale Datensätze, mit der einzigen Einschränkung, dass jene lediglich binäre Relationen beinhalten dürfen. Diese Verallgemeinerung unterscheidet sich dadurch von ähnlichen Ansätzen, dass es ohne der Notwendigkeit weiterer Anpassungen auskommt und somit unmittelbar auf Datensätze beliebiger Struktur angewendet werden kann. Deep Learning ist derzeit zweifelsohne eines der wichtigsten Teilgebiete aus dem Bereich Machine Learning und wurde bislang - nach bestem Wissen und Gewissen - noch nicht im Zusammenhang mit dem Semantic Web eingesetzt.

The Semantic Web marks the next cornerstone in the development of the World Wide Web, and constitutes the ultimate goal of enabling machines to access and interpret data published on the Web automatically. This, in turn, allows applications to grasp the meaning inherent in the data without human assistance, and empowers them to reason about it autonomously. In practice, however, the task of reasoning about Semantic Web data comes with a number of issues attached. Among these are typical problems related to databases, like incomplete information or conflicting data, but also new challenges came up, like reasoning at the scale of the World Wide Web or the effective construction of expressive knowledge bases. It turns out, though, that many of the obstacles encountered are actually related to the methods employed for reasoning with classical logic rather than to the nature of the Semantic Web itself, and so people started to investigate machine learning as an alternative approach to reason about Semantic Web data This thesis follows that very path and investigates the use of deep learning in order to tackle the problem of instance checking, a particular kind of reasoning task commonly encountered in real-world applications of the Semantic Web. In doing so, I develop a new kind of deep model, and compare its performance on this task with state-of-the-art approaches based on machine learning. Thereby, I show that the newly introduced model is indeed competitive and in parts even superior to existing state-of-the-art techniques. However, the main contribution of this thesis is a generalization of recursive neural tensor networks to arbitrary relational datasets, with the single restriction that these data involve binary relations only. In contrast to similar approaches, a distinctive property of this model is that it can be applied to relational datasets out-of-the-box, i.e. we do not have to account for the particular structure of a dataset beforehand. Deep learning is among the hottest topics within the field of machine learning right now, and has - to the best of my knowledge - not been employed in connection with the Semantic Web so far.