Safer Internet Chatbot

Abstract

Virtuelle Assistenten oder Konversationsagenten - allgemein als Chatbots bekannt -werden zunehmend zu einem festen Bestandteil unserer modernen Gesellschaft. Häufig werden diese für Aufgaben eingesetzt, bei welchen ständige Erreichbarkeit von Vorteil ist.Dies ist beispielsweise dann der Fall, wenn die Beantwortung von Fragen zu Produkten oder Dienstleistungen rund um die Uhr gewährleistet werden soll. In unserem konkreten Anwendungsfall wird ein bereits betriebener deutschsprachiger Chatbot dafür eingesetzt,Fragen von Kindern zu beantworten. Bei den gestellten Fragen geht es darum, ob dievon den Kindern über unterschiedlichste Kanäle erhaltenen Nachrichten Kettenbriefe darstellen. In einem typischen Szenario stellt ein Kind eine Frage, und sendet die erhaltene Nachricht um zu erfahren ob diese ernst genommen oder ignoriert werden sollte.Die Aufgabe des Chatbots besteht nun darin, die Absicht der Frage zu erkennen und festzustellen ob es sich bei der erhaltenen Nachricht um einen Kettenbrief handelt, sowie angemessen darauf zu antworten. Dabei sollte das Gespräch möglichst so gelenkt werden,dass potentielle Ängste vorgebeugt sowie sinnvolle, konkrete Ratschläge für das weitere Vorgehen mitgegeben werden. Im Rahmen dieser Arbeit tragen wir zur Verbesserung des aktuell betriebenen deutschsprachigen Chatbots bei, indem wir (i) eine auf Open-Source-Technologien basierende Implementierung bereitstellen und (ii) eine quantitative Bewertung von 120 verschiedenen - auf maschinellem Lernen basierenden - Ansätzen durchführen, bei welchen wir eine Vielzahl von Algorithmen, neuronalen Netzwerkarchitekturen und Word-Embeddings kombinieren. Durch die Anwendung von Transfer-Learning auf der Grundlage des BERT-Sprachmodells konnten wir eine Klassifikationsleistung von 0.9 für die beiden Metriken F-Score und Genauigkeit erreichen. Ebenso haben wir (iii) den Einfluss von Emojis untersucht, wobei wir zu unserer Überraschung keinen eindeutigen Effekt auf die Klassifikationsleistung feststellen konnten. Darüber hinaus haben wir (iv) eine qualitative Bewertung unserer Implementierung durchgeführt, und einen Fragebogen zu den erwarteten und tatsächlichen Ergebnissen hinsichtlich des Systemverhaltens erstellt.Das Feedback, welches wir über den Fragebogen erhalten haben, war sehr positiv und zeigte, dass wir die wahrgenommene Qualität der (v) Absichtserkennung, (vi) der Erkennung von Kettenbriefen sowie der (vii) Antwortgenerierung steigern konnten.

Virtual assistants or conversational agents - widely known as chatbots - are becomingan increasingly pervasive part of our modern society, and are already widely used to take on tasks where permanent accessibility is beneficial. In our particular use case,an already operational German language chatbot is used to answer children’s questionsregarding chain letters. It is not a conversational chatbot, but serves a particular goal.In a typical scenario, a child asks a question and sends the received message, for which itwants to know whether it should be taken seriously or whether the message can be safely ignored. The chatbot’s task is to recognise the intent of the question, detect whether the received message represents a chain letter, and to respond appropriately and steer the conversation such that potential fears are alleviated and advice is given on how to proceed further. Throughout this work, we have improved the current German language chatbotby (i) providing an implementation based on open-source technologies, and conducteda (ii) quantitative evaluation of 120 different approaches based on machine learning,where we have combined a variety of algorithms, neural network architectures and textembedding methods. By applying transfer learning based on the BERT language model,we were able to achieve a classification performance of 0.9 for both metrics F-Score and accuracy. We have also examined (iii) the influence of emojis on the overall classification performance, where to our surprise we could not identify any clear effect. Furthermore,we have conducted (iv) a qualitative evaluation of our implementation and have therefo recompiled a questionnaire regarding the expected and actual results concerning the system behavior and performance. The feedback received through the questionnaire has beenvery positive, and it showed that we were able to increase the perceived quality of (v)intent recognition, (vi) chain letter detection and (vii) response generation.