Increasing trustworthiness of edge AI by adding uncertainty estimation to object detection

Abstract

Objekterkennung ist heutzutage eine stark nachgefragte Computer-Vision-Aufgabe und wird auch in sicherheitskritischen Bereichen wie autonomem Fahren, Fußgängererkennung und medizinischer Bildanalyse eingesetzt. Modelle ignorieren jedoch häufig die Unsicherheit ihrer Vorhersagen, d. h. sie können zu selbstsichere, falsche Vorhersagen liefern. Um vertrauenswürdige Modelle zu erstellen, muss diese Unsicherheit erfasst und sorgfältig behandelt werden. Kein Modell ist perfekt, und es kann immer Situationen geben, in denen es besser ist, überhaupt keine Vorhersage zu treffen, als eine bestmögliche Schätzung abzugeben.Daher untersuchen wir in dieser Arbeit, welche Ansätze es Objekterkennungsnetzwerken ermöglichen, Schätzungen ihrer Unsicherheit zu generieren. Da diese Schätzmethoden in der Regel nicht kostenlos sind, muss ihr Rechenaufwand sorgfältig berücksichtigt werden. Wir konzentrieren uns auf Edge-KI, einen Bereich, in dem Echtzeitvorhersagen entscheidend sind, beispielsweise für das automatisierte Verkehrsmanagement in einer Smart City. Hier müssen Informationen mit der begrenzt verfügbaren Hardware direkt an der Quelle verarbeitet werden.In unserer Arbeit haben wir die Literatur nach vielversprechenden Ansätzen durchsucht, verglichen und notwendige Anpassungen vorgenommen, um modernste Objekterkennung mit Unsicherheitsschätzung auf Edge-Geräten zu ermöglichen. Insgesamt haben wir vier verschiedene Ansätze zur Unsicherheitsschätzung implementiert und evaluiert. Diese umfassen eine einfache Basislinie, Ensemble-Netzwerke, probabilistische Näherungen und Lernen basierend auf der Evidenztheorie. Training und Evaluierung werden anhand von sechs verschiedenen Datensätzen zum autonomen Fahren durchgeführt, wodurch ein Domänenverschiebungsszenario zur Bewertung der Qualität der Unsicherheitsschätzung entsteht. Unsere Ergebnisse zeigen signifikante Leistungsunterschiede zwischen den Ansätzen und zeigen, dass komplexe Ansätze zur Unsicherheitsschätzung in vielen Fällen eine einfache Basislinie nicht übertreffen.

Object detection is nowadays a highly demanded computer vision task, being applied also in safety-critical domains, such as autonomous driving, pedestrian detection, and medical image analysis. Yet, models very often remain ignorant of the uncertainty in their predictions, i.e., they may produce overconfident false predictions. To build trustworthy models, this uncertainty must be captured and handled carefully. No model is perfect, and there may always be situations in which it is better to make no prediction at all, rather than give a best-effort guess. Therefore, in this thesis, we will explore what approaches enable object detection networks to generate estimates of their uncertainty. As these estimation methods typically do not come for free, their computational overhead has to be considered carefully. We focus on Edge AI, a domain where real-time predictions are crucial, such as for automated traffic management in a smart city. Here, information needs to be processed directly at the source with the limited hardware available.In our work, we searched and compared the literature for promising approaches and made necessary modifications to them, enabling state-of-the-art object detection with uncertainty estimation on the Edge. In total, we implemented and evaluated four different approaches on uncertainty estimation, covering a simple baseline, ensemble networks, probabilistic approximations, and learning based on the theory of evidence. Training and evaluation are conducted across six different autonomous driving datasets, creating a domain-shift scenario for evaluating the quality of uncertainty estimation. We selected eight different metrics to evaluate the performance of our models in both object detection and uncertainty estimation. Our results show significant differences in performance between the approaches and that complex uncertainty estimation approaches may, in many cases, not outperform a simple baseline.