Achieving explainability in convolutional neural networks using visual analytics

Abstract

Angesichts der zunehmenden Popularität und Nutzung künstlicher Intelligenz gewinnt die Frage nach der Erklärbarkeit von Modellen des maschinellen Lernens immer mehr an Bedeutung. Selbstlernende Algorithmen lassen sich in verschiedenste Lebensbereiche integrieren, von autonomen Fahrzeugen bis hin zur medizinischen Unterstützung bei der Krebsdiagnose. Daher ist es wichtig zu verstehen, wie die verwendeten Modelle Entscheidungen treffen und Daten verarbeiten. Diese Masterarbeit konzentriert sich auf die Erklärbarkeit von Convolutional Neural Networks (CNNs), die häufig für die Bildklassifizierung eingesetzt werden. Die Forschungsfragen dieser Arbeit beschäftigen sich mit den CNN-Aspekten, die berücksichtigt werden sollen, um das Modellverständnis zu verbessern, und mit der generellen Verbesserung des Modellverständnisses durch die identifizierten und evaluierten Visualisierungsansätze. Im Rahmen einer umfassenden Literaturrecherche identifizieren wir verschiedene Visualisierungsansätze zur Erklärung von CNN-Aspekten und geben somit einen detaillierten Überblick über das Verhalten des Modells und den verarbeiteten Datensatz. Anschließend erstellen wir das CNN-Dashboard, das die vorgeschlagenen Methoden der visuellen Analyse umfasst, und evaluieren es anhand des Feedbacks von CNN-Experten. Das Dashboard umfasst verschiedene Aspekte von CNNs und wir führten halbstrukturierte Interviews mit CNN-Experten durch, um Feedback zur Benutzerfreundlichkeit und Erklärbarkeit der einzelnen Visualisierungsansätze zu erhalten. Darüber hinaus werden die Ansätze mithilfe des heuristischen Ansatzes zur wertorientierten Bewertung von Visualisierungen nach Wall et al.[WAM+19] bewertet. Anschließend diskutierten wir die gewonnenen Erkenntnisse und die für die einzelnen heuristischen Komponenten erzielten Bewertungen. Wir stellten fest, dass das CNNDashboard mit seinem Visualisierungsansatz zur Verbesserung der Erklärbarkeit vonCNNs einen umfassenden Überblick bietet und die in den Bewertungskomponenten definierten Anforderungen erfüllt. Dennoch weist es Verbesserungspotenzial auf, insbesondere in Bereichen des Datenvertrauens und der Visualisierungsessenz, wie aus den Bewertungen der CNN-Experten entnommen werden kann. Um die Forschungsfragen zu beantworten, schließen wir diese Arbeit mit der Feststellung ab, dass unsere Lösung einen verständlichen Überblick über die verarbeiteten Daten und Modellentscheidungen bietet und zusammenfassende Statistiken, Netzwerkstruktur, Layer-Dashboard, die wichtigsten Filter, falschklassifizierte Bilder und Feature-Space-Projektionen mit Hidden-Activations zur Verbesserung der Erklärbarkeit von CNNs beitragen. Wir beschreiben außerdem Limitierungen unserer Analyse und daraus resultierende weiterführende Forschungsrichtugen.

With the recent increase in popularity and use of artificial intelligence, the questionof the explainability of machine learning models becomes more and more significant. Self-learning algorithms can be incorporated in various parts of our lives, ranging from autonomous vehicles to medical assistance in cancer identification. Hence, it is important to understand how used models make decisions and process the data. This master’s thesis focuses on the explainability of convolutional neural networks, which are often used for the task of image classification, using visual analytics. The research questions for this work are determining the necessary aspects of the CNN that should be covered to enhance model understanding and answering to what extent identified visualization approaches improve the understanding of the CNNs. During an extensive literature review, we identify various visualization approaches to explain CNN aspects and therefore provide a detailed overview of the model’s behavior and the processed dataset. Followingly, we create the CNN dashboard, which includes the proposed visual analytics methods, and evaluate it using feedback from CNN experts. The dashboard includes different CNN aspects, such as the training history, the network structure, feature projections, etc.. We conduct semi-structured interviews with the CNN experts, where we receive feedback on the usability and explainability of each visualization approach. Furthermore, the approaches are also rated using the heuristic approach to value-driven evaluation of visualizations by Wall et al.[WAM+19]. After the interviews, we discuss the generated insights and scores received for individual heuristic components. We state that the CNN dashboard, with its visualization approach to enhance CNN explainability, provides an extensive overview and covers the requirements defined in the evaluation components, but still has room for improvement, especially in the components of data confidence and visualization essence, as could be seen from the scores received by CNN experts. To answer the research questions, we conclude this work by stating that our solution delivers a comprehensible overview of the processed data and model decisions, and suggest including summary statistics, network structure, integrated layer dashboard, most important filters, misclassified images with important regions for classification and feature space projection together with hidden activations to improve CNN explainability. We also state the limitations of our research and, consequently, potential directions for further research.