Explaining the differences of decision boundaries in trained classifiers

Abstract

Seit dem Aufkommen der Black Box Society werden die Entscheidungen von Modellen im Bereich des Maschinellen Lernens zunehmend unverständlicher wegen ihrer hohen Komplexität. Stattdessen muss man sich beim Vergleichen von Modellen auf Gütekriterien verlassen, die jedoch eine zu ungenaue Abbildung der Realität sind. Weiters werden die externen Anforderungen immer höher, Entscheidungen transparent darzulegen. Mit XAI (Deutsch: erklärbare künstliche Intelligenz) Methoden kann man Einsicht in die Vorgänge eines Modells erlangen. Darunter ist SHAP als Methode besonders interessant, da sie aufgrund ihrer speziellen Eigenschaften erlaubt, eine Erklärung selbst als Modell zu behandeln. Aber es gibt noch wenige Ansätze, um Modelle zu vergleichen. Mit DiRo2C wurde direktes Erklärbar-Machen mittels eines Vereinigungsmodells für Klassifikationsmodelle vorgeschlagen. In dieser Masterarbeit stelle ich die Methode Mocca-SHAP vor, die SHAP verwendet um sowohl traditionelle Erklärungen als auch Erklärungen für das Vereinigungsmodell zu erzeugen. Mit Supervised Clustering werden die Erklärungen in eine modulare, hierarchische Struktur eingeteilt. In SHAP Dependence Plots lassen sich viele Erklärungen aggregiert darstellen und der Effekt eines Attributs auf eine Zielvariable interpretieren. Group Counterfactual Explanations unterstützen dabei, kausale Zusammenhänge zu verstehen. So tritt man mit den Erklärungen selbst in eine Konversation und interpretiert sie interaktiv. Ich evaluiere im Kontext der Endanwendung mittels kontrollierter Experimente, wo die zu erklärenden Unterschiede bekannt sind. Dabei kommen quantitative und qualitative Qualitätsmetriken zum Einsatz. Zu den Quantitativen zählen Fidelity, Complexity und Generation Time. Qualitativ evaluiere ich bezugnehmend auf Millers wünschenswerte Eigenschaften von Erklärungen Contrastiveness, Selectiveness, Causality und Interactivity, die zusammen Contextuality ausmachen.

Since the rise of the black box society in the last decade, the decisions of machine learning models are increasingly less understandable because of their high complexity. Instead, data scientists have to rely on performance metrics when comparing models during development, selection or monitoring. But a single metric is a too simplistic description of most real-world tasks. Also, law makers increasingly require transparency of automated decisions. With interpretability methods in the field of XAI one can gain insights into the inner workings of a single model. Among them, SHAP is especially interesting because of its special properties, that allow an explanation to be treated as a model. But there is a lack of systematic ways of comparing multiple models. With DiRo2C, differences are sought to be explained directly with the difference classifier, an intermediate model, that merges the outputs of two classifiers. In this master thesis I propose Mocca-SHAP, which uses SHAP to create traditional explanations and explanations for the difference classifier. Supervised clustering creates modular, hierarchical groupings of explanations. SHAP Dependence Plots aggregate many explanations to allow interpretation of how a feature affects an outcome. Group Counterfactual Explanations aid in understanding causal relations. With this, one can interact in a conversational way with the explanations. I evaluate in the context of the end task in controlled experiments with a priori known differences that are to be found on a variety of quantitative and qualitative quality metrics. Quantitative metrics include Fidelity, Complexity and Generation Time. Qualitatively, I evaluate with regard to Miller’s desirable properties for explanations Contrastiveness, Selectiveness,Causality and Interactivity, which together make up Contextuality.