AI in the Loop - Examining the Impact of different Algorithmic Decision Support Systems on the Quality of Skin Cancer Diagnosis

Abstract

Hautkrebs gehört zu den weltweit am meisten verbreiteten und gefährlichen Krebsarten, weshalb eine präzise und schnelle Diagnose von großer Bedeutung ist. Diese Arbeit untersucht den Einfluss verschiedener algorithmischer Entscheidungssysteme (ADS) auf die Qualität der Hautkrebsdiagnose, mit besonderem Fokus auf die Nutzerwahrnehmung, der diagnostischen Genauigkeit und die benötigte Diagnosezeit. Die Arbeit behandelt Fragen wie ob es signifikante Unterschiede in der diagnostischen Genauigkeit zwischen den verschiedenen ADS-Systemen gibt und wie Diagnosezeiten mit der Genauigkeit zusammenhängen. Insgesamt nahmen 59 Teilnehmer and der Studie teil, die in Form eines Online-Quiz durchgeführt wurde, gefolgt von einer Fragebogen zum Thema Nutzerwahrnehmung der ADS-Systeme. Die Methodik kombinierte eine klassische Literaturrecherche mit einer empirischen Analyse, die aus dem Online-Quiz und dem anschließenden Fragebogen bestand. Die Ergebnisse zeigen, dass Nutzer intelligente ADS-Systeme gegenüber keinen Support oder einfachen immer-Hilfe Systemen klar bevorzugen. Ethische Aspekte erzielten in der Umfrage die niedrigste Zustimmung, was sie zu einem kritischen Aspekt für nachfolgende Verbesserungen und weiterführende Forschung macht. Sowohl das Immer-Hilfe Modell als auch die Reflection Machine erzielten statisch signifikant bessere Ergebnisse hinsichtlich der Diagnosegenauigkeit im Vergleich zu einem System ohne KI-Support. Die Immer-Hilfe Gruppe war zudem signifikant schneller als alle anderen Gruppen, wenn es um Diagnosegeschwindigkeit geht. Der Einsatz einer Reflection Machine führte nicht nur zu einer Verbesserung der Diagnosegenauigkeit, sondern kann auch die Möglichkeit eines erhöhten Lerneffekts für die Nutzer ermöglichen und kann helfen, eine übermäßige Abhängigkeit von KI-Antworten zu reduzieren. Dieser Effekt geht jedoch leider auf Kosten längerer Entscheidungszeiten aufgrund des reflektierenden Aufbaus. Insgesamt zeigen die Ergebnisse, dass der Einsatz von KI in ADS-Systemen zu statistisch signifikanten Verbesserungen sowohl bei der Diagnosegenauigkeit als auch bei der benötigten Diagnosezeit führt. Zusätzlich kann die Einbindung einer Reflection Machine das Lernen fördern und eine verantwortungsvollen Umgang mit KI unterstützen. Das bedeutet, dass intelligente ADS-Systeme sowohl praktische als auch pädagogische Vorteile bei der Verwendung ermöglichen können. Betrachtet man ausschließlich eine ergebnisorientierte Lösung, wird ein Immer-Hilfe System empfohlen, da es eine hohe Diagnosegenauigkeit mit sehr schnellen Entscheidungszeiten kombiniert.

Skin cancer is among the most common and dangerous types of cancer worldwide, making accurate and timely diagnosis a critical healthcare challenge (Dildar et al., 2021). This study examines the impact of different algorithmic decision support (ADS) systems on the quality of skin cancer diagnosis, with a particular focus on user perception, diagnostic accuracy, and decision times. The work addresses questions like how users perceive intelligent ADS systems, whether significant differences exist in diagnostic accuracy among the different ADS modes, and how decision times relate to diagnostic performance.A total of 59 participants completed the study via an online quiz, followed by a post-study survey assessing their perception of ADS systems. The methodology combined a classical literature review with an empirical analysis consisting of an online quiz for the study and a post study survey. By doing so, both the user performance and the user perception could be analysed. The results indicate that users clearly prefer intelligent ADS systems compared to no support or basic Always-Help support. Ethical considerations scored lowest in the survey, making it a critical aspect for further improvements and research. Both Always-Help and the Reflection Machine systems achieved statistically significant improvements in diagnostic accuracy compared to a no support. The Always-Help group was also significantly faster than all other groups. The Reflection Machine not only improved diagnostic accuracy but also provides the possibility for improved learning effects for users and can help mitigate overreliance on AI, although this benefit can come at the expense of longer decision times. Overall, the findings demonstrate that the use of AI in ADS systems leads to statistically significant improvements in both diagnostic accuracy and required decision time. Furthermore, incorporating reflective systems, as in the Reflection Machine, can improve learning and responsible AI usage. This suggest that intelligent ADS systems offer both practical and educational benefits in clinical decision-making. When purely considering an output-oriented solution, an Always-Help system is recommended due to its combination of high diagnostic accuracy and very fast decision times.