Using human computation for ontology evaluation

Abstract

Applications rely on ontologies as knowledge bases and as wrongly represented information can lead to false outcomes, the quality of an ontology can be a deciding factor for the success of the system using it. Because the process of ontology engineering is liable to errors, the need for ontology evaluation arises. While automated approaches exist, there are still errors which need background information and human knowledge. For such cases, Human Computation and Crowdsourcing can be applied, such that with the help of crowds, the knowledge base for the ontology can be enhanced and the existing one validated.While common errors are introduced in the literature, an analysis of typical engineering errors in beginners' ontologies in practice is missing. Moreover, the need for a methodology to solve problems regarding ontology engineering with Human Computation arises and it is not clear, while considering error classification, to what extent is the overall performance influenced, when having multiple error types in one Human Computation task and when the variety of errors increases from three to five.This thesis firstly collects information regarding common errors through a literature research and uses data comparison between beginners' ontologies to find out practical information. Concerning finding a methodology to solve problems regarding ontology engineering with Human Computation, an existing approach called VeriCoM was extended to an Ontology Engineering use case. Lastly, the thesis shows how the performance of workers regarding verification of ontology engineering errors changes, when increasing the error types and the variety of errors in an Human Computation task, through an experiment that follows principles of designing the experimental process. Based on the results, we conclude that: most common errors in beginners' ontologies are: readability, disjointness of classes, not declaring inverse relationships and the confusion between logical "and" and "or" (i). Moreover, the VeriCoM approach shows that the average performance of the workers is at 78% while the average speed of completing a task is at 55 seconds, proving that the approach is able to achieve high performance regarding the verification of specific defects in ontologies (ii). Comparing a previous similar experiment with this thesis experiment, that has an increased number of error types of five, but also tasks with multiple errors, respectively, the actual performance decreased from 92.58% to 78%, while the response time remains on average at slightly less than one minute. Even though the performance reduced by 14.58%, the overall performance is still high and did not changed drastically. This goes to show that Human Computation is still reliable, even when the ontologies to be verified contain multiple and different errors, and is a viable approach for Ontology verification in general (iii).

Anwendungen benutzen Ontologien als Wissensbasis. Da falsch dargestellte Informationen zu falschen Ergebnissen führen können, kann die Qualität einer Ontologie ein entscheidender Faktor für den Erfolg der Anwendung sein. Weil der Entwicklunsprozess einer Ontologie fehleranfällig ist, ist eine Ontologie-Evaluierung notwendig. Es gibt zwar automatisierte Ansätze dafür, jedoch gibt es Fehler, die Hintergrundinformationen und menschliches Wissen erfordern. Hier können Human Computation und Crowdsourcing eingesetzt werden, sodass die Wissensbasis für die Ontologie erweitert und validiert werden kann. In der Literatur werden häufige Fehler vorgestellt, die den Entwicklungsprozess betreffen. Jedoch fehlt eine solche Analyse bezüglich Ontologien, die von Anfängern entwickelt werden. Darüber hinaus besteht der Bedarf an einer Human Computation Methodik zur Lösung von Entwicklungsfehlern. Außerdem ist es unklar, inwieweit die Gesamtleistung der Mitarbeiter beeinflusst wird, wenn mehrere Fehlertypen in einem Human Computation Task vorkommen und wenn die Vielfalt der Fehler von drei auf fünf ansteigt. Diese Arbeit sammelt zunächst Informationen über häufige Fehler durch eine Literaturrecherche und nutzt einen Datenvergleich zwischen Anfängerontologien, um praktische Informationen herauszufinden. Um eine Human Computation Methodik zur Lösung von Problemen bei der Entwicklung von Ontologien zu finden, wurde der bestehende Ansatz VeriCoM um einen Ontolgien-Anwendungsfall erweitert. Schließlich wird in dieser Arbeit gezeigt, wie sich die Leistung der Mitarbeiter bei der Verifizierung von Fehlern verändert, wenn die Fehlertypen und die Vielfalt der Fehler in einem Human Computation Task zunehmen. Dies erfolgt durch ein Experiment, das den Prinzipien von Designing the experimental process folgt. Die häufigsten Fehler in Anfängerontologien betreffen: Lesbarkeit, Unvereinbarkeit von Klassen, Nichtdeklaration inverser Beziehungen und Verwechslung von logischem ”und”und ”oder” (i). Darüber hinaus zeigt der VeriCoM-Ansatz, dass die durchschnittliche Leistung der Mitarbeiter bei 78% liegt, während die durchschnittliche Geschwindigkeitbei der Erledigung einer Aufgabe bei 55 Sekunden liegt. Dies beweist, dass der Ansatz eine hohe Leistung bei der Verifizierung spezifischer Fehler in Ontologien erbringt (ii). Bezüglich des Experiments, bei einer Erhöhung der Fehlertypen und der Anzahl an Fehlern pro Task, im Vergleich zu einem bestehen Experiment, sinkt die tatsächliche Leistung von 92,58% auf 78%, während die Antwortzeit im Durchschnitt bei etwas weniger als einer Minute blieb. Trotzdem ist die Gesamtleistung hoch und hat sich nicht drastisch verändert (nicht mehr als 30%). Dies zeigt, dass Human Computation immer noch zuverlässig ist, selbst wenn Ontologien unterschiedliche Fehler enthalten, und dass es sich um einen praktikablen Ansatz für die Evaluierung der Ontologien im Allgemeinen handelt (iii)