Transforming text annotations into graph-based features for a human-in-the-loop explainable information extraction framework

Abstract

Analysis of existing rule-based human-in-the-loop text classifiers have shown deficiencies in accessibility for users without specific technical background. An enhanced design for a user interface of the rule-based human-in-the-loop explainable information extraction framework POTATO [KGIR22] is described, based on the transformation of user-generated text annotations into graph-based-features. In comparison with existing solutions, it offers enhanced levels of accessibility, according to analyses based on our results. These improvements have been demonstrated in a user test [HMPR04, RC08] of a working prototype based on the design. The user test with four participants was conducted over15 hours using a relation extraction dataset [HKK+10]. This thesis contributes (1) a comparison of the two semantic parsers 4lang and AMR, (2) a procedure to transform user-generated text annotations into semantic-graph-based features for rule-based text classifiers, (3) an open source user interface, implementing the contributed procedure and (4) an reproducible evaluation of the applicability of text annotation as the means to create rules in a rule based text classification framework.

Die Analyse von bestehenden regelbasierten Tools für Textklassifizierung, die menschliches Feedback im Entwicklungsprozesses beinhalten, hat Mängel in der Zugänglichkeit zu diesen Tools für Benutzer ohne spezifischen technischen Hintergrund aufgezeigt. Es wird ein verbessertes Design für die Benutzeroberfläche des regel-basierten Relationsextraktions- und Textklassifikations-tools POTATO [KGIR22] beschrieben, welches auf der Umwandlung von benutzer-generierten Textmarkierungen in graphenbasierte Regeln basiert. Im Vergleich zu bestehenden Lösungen bietet es, nach Analysen die auf unseren Ergebnissen basieren, ein höheres Maß an Zugänglichkeit. Diese Verbesserungen wurden in einem Benutzertest [HMPR04, RC08] eines funktionierenden Prototyps auf der Grundlage des Entwurfs nachgewiesen. Der Benutzertest mit vier Teilnehmern wurde über 15 Stunden mit einem Relationsextraktionsdatensatz [HKK+10] durchgeführt. Diese Diplomarbeit trägt bei: (1) einen Vergleich der beiden semantischen Parser 4lang und AMR, (2) ein Verfahren zur Umwandlung von benutzer-generierten Textannotationen in semantische Graphen-basierte Regeln für regelbasierte Textklassifikatoren, (3) eine Open-Source-Benutzeroberfläche, die das Verfahren implementiert und (4) eine reproduzierbare Evaluierung der Anwendbarkeit von Textannotationen als Mittel zur Erstellung von Regeln in einem regelbasierten Textklassifikationstool.