Exploratory visual system for predictive machine learning of event-organisation data

Abstract

In den letzten Jahren hat die Verwendung von Modellen des maschinellen Lernens (MLModelle) und insbesondere von tiefen neuronalen Netzen außerhalb der Forschungswelt stark zugenommen. Eine der größten Herausforderungen bei der Arbeit mit ML-Modellen ist die korrekte und effiziente Interpretation der von einem Modell gelieferten Ergebnisse.Außerdem ist das Verständnis wie das Modell zu Schlussfolgerungen gekommen ist selbst für Experten auf dem Gebiet des maschinellen Lernens eine sehr komplizierte Aufgabe.Für Laien sind ML-Modelle oft nur Black-Boxes, die nicht nachvollziehbare Ergebnisseliefern. Das mangelnde Verständnis eines Modells und seiner Argumentation führt dazu,dass Benutzer den Modellvorhersagen oft nicht vertrauen.In dieser Arbeit arbeiten wir mit einem ML-Modell, das auf Eventorganisationsdaten trainiert wurde. Das Ziel ist es, ein exploratives visuelles Eventorganisationssystem zuerstellen, das es Event-Organisatoren ermöglicht, effizient mit dem Modell zu arbeiten.Die Hauptziele des Benutzers in diesem Szenario sind die Gewinnmaximierung und die Möglichkeit, sich auf die vorhergesagte Besucherzahl vorzubereiten. Um diese Ziele zu erreichen, müssen Nutzer in der Lage sein, Aufgaben, wie das Interpretieren der aktuellen Vorhersage und das Durchführen von was-wäre-wenn Analysen um die Auswirkungen von Parameteränderungen zu verstehen, zu erfüllen. Das vorgeschlagene System beinhaltet angepasste Versionen mehrerer moderner modell-agnostischerI nterpretationsmethoden wie Partial Dependency Plots und Case-based Reasoning. Da modell-agnostische Methoden unabhängig vom ML-Modell sind, bieten sie eine hoheFlexibilität.Viele State-of-the-Art Ansätze zur Erklärung von ML-Modellen sind oftmals zu komplex um von Laien verstanden zu werden. Bei unserer Zielgruppe, den Event-Organisatoren,kann nicht davon ausgegangen werden, dass sie über außreichendes technisches Wissen im Bereich des maschinellen Lernens verfügen. In dieser Arbeit wollen wir Antworten auf die folgenden Fragen finden: Wie können wir ML-Vorhersagen für Laien verständlich visualisieren? Wie können die Vorhersagen miteinander verglichen werden? Wie können wir Nutzer dabei unterstützen, Vertrauen in das ML-Modell zu gewinnen? Unser Eventorganisationssystem wird mit Hilfe eines Human-Centred Design Ansatzes erstellt,wobei während des gesamten Entwicklungszyklus mehrere Fallstudien mit potenziellen Nutzern durchgeführt wurden.

In recent years, the usage of machine learning (ML) models and especially deep neural networks in many different domains has increased rapidly. One of the major challenges when working with ML models is to correctly and efficiently interpret the results given by a model. Additionally, understanding how the model came to its conclusions can be a very complicated task even for domain experts in the field of machine learning. For laypeople, ML models are often just black-boxes. The lack of understanding of a model and its reasoning often leads to users not trusting the model’s predictions. In this thesis, we work with an ML model trained on event-organisation data. The goal is to create an exploratory visual event-organisation system that enables event organisers to efficiently work with the model. The main user goals in this scenario are to maximise profits and to be able to prepare for the predicted number of visitors. To achieve these goals users need to be able to perform tasks like: interpreting the prediction of the current input and performing what-if analyses to understand the effects of changing parameters. The proposed system incorporates adapted versions of multiple state-of-the-art model-agnostic interpretation methods like partial dependence plots and case-based reasoning. Since model-agnostic methods are independent of the ML model, they provide high flexibility. Many state-of-the-art approaches to explain ML models are too complex to be understood by laypeople. Our target group of event organisers cannot be expected to have a sufficient amount of technical knowledge in the field of machine learning. In this thesis, we want to find answers to the questions: How can we visualise ML predictions to laypeople in a comprehensible way? How can predictions be compared against each other? How can we support users in gaining trust into the ML model? Our event-organisation system is created using a human-centred design approach performing multiple case studies with potential users during the whole development circle.