Multi-faceted visual analysis of inter-observer variability

Abstract

Trotz der Fortschritte bei den automatischen Algorithmen zur Segmentierung ist die manuelle Segmentierung in der Medizin immer noch notwendig. Die manuelle Segmentierung von Tumoren ist unter Radiolog:innen gängige Praxis und ein kritischer Schritt in der Planung einer Krebsbehandlung. Wir veranschaulichen die Variabilität, die sich aus der Segmentierung medizinischer Scans eines einzelnen Patienten durch mehrere Expert:innen ergibt und als Interobserver-Variabilität bezeichnet wird.Die Neuheit dieser Arbeit besteht darin, den Prozess der Segmentierung eines Objektszu erfassen. Der Schwerpunkt liegt darin, Einblicke in den Denkprozess und die Entscheidungsstrategien der Beobachter:innen zu erhalten. Um diese Aspekte der Segmentierung zu untersuchen, führen wir eine Datenerhebung mit Noviz:innen und Expert:innen durch,indem wir ihre Gedanken in einem Think-Aloud-Protokoll und ihre Aufmerksamkeitsbereiche durch Aufzeichnen ihrer Mausbewegungen während des Segmentierungsprozesses, erfassen. Diese Daten werden mit unserer Multi Observer Looking Environment (Mehrfachbeobachter-Anschauungsumgebung) visualisiert. MOLE erlaubt einen gründlichen Einblick in den Segmentierungsprozess der Beobachter:innen und ermöglicht den Vergleich verschiedener Segmentierungsergebnisse. Mit unseren Visualisierungstechniken heben wir Regionen der Unsicherheit hervor, die bei der Segmentierung mehr Aufmerksamkeit erforderten. Darüber hinaus werden relevante Schlüsselwörter aus dem Think-Aloud-Protokoll extrahiert und mit den Positionen in der Segmentierung abgeglichen, was Aufschluss über den Denkprozess der Beobachter:innen liefert. Wir verknüpfen das Ausgangsbild mit einer dreidimensionalen Darstellung der Segmentierung und stellen bei Bedarf weitere Details des Think-Aloud-Protokolls zur Verfügung.Unser Programm ist universell auf Segmentierungs-, Aufmerksamkeits- und Gedankenprozessdaten anwendbar, unabhängig von der Natur der Daten. Wir zeigen, wie MOLE sowohl mit einem medizinischen Datensatz als auch mit einem künstlich erzeugten Datensatzverwendet werden kann. Durch die Validierung unseres Programms mit Hilfe eines medizinischen Experten, der aktiv in diesem Bereich arbeitet, definieren wir mögliche Einsätze und Anwendungsfälle in der bestehenden Vorgehensweise der Tumorsegmentierung und Krebsbehandlung.

Despite the advancements in auto-segmentation tools, manual delineation is still necessary in the medical field. For example, tumor segmentation is a crucial step in cancer radiotherapy and is still widely performed by hand by experienced radiologists. However, the opinions of experienced radiologists might differ, for a multitude of reasons. In this work, we visualize the variability originating from multiple experts delineating medical scans of the same patient, known as inter-observer variability.The novelty of this work consists of capturing the process of segmenting a target object. The focus lies in gaining insight into the observer’s thought processes and reasoning strategies. To investigate these aspects of segmenting we conduct a data acquisitionwith novice users and experts, capturing their thoughts in a think-aloud protocol and their areas of attention by tracking their mouse-movement during the segmentation process. This data is visualized with our Multi Observer Looking Environment (MOLE).MOLE allows to gain deep insight into the observers’ segmentation process and enables to compare different segmentation outcomes and how these occurred. With our proposed visualization techniques we emphasize regions of uncertainty that need more attention when delineating. Additionally, relevant keywords are extracted from the think-aloud protocol and aligned with the positions in the segmentation, providing information about the thought process of an observer. We link the initial image to a three-dimensional representation of the delineations and provide more details of the think-aloud protocol on demand.Our approach is universal to segmentation, attention and thought process data regardless of the domain of the data. We show how MOLE can be used with a medical dataset as well as an artificially created dataset. By validating our approach with the help of a medical expert actively working in the field, we define potential use cases in the existing pipeline of tumor delineation for cancer treatment.