The Influence of Generative AI Input on Decision-Making: Examining the Dunning–Kruger Effect Across IT Expertise Levels

Abstract

Künstliche Intelligenz (KI) ist in den vergangenen Jahren zu einem festen Bestandteil privater und beruflicher Entscheidungsprozesse geworden. Während bisherige Studien zeigen konnten, dass KI die menschliche Leistung bei unterschiedlichsten Aufgaben unterstützen und verbessern kann, ist bislang nur wenig darüber bekannt, wie sie kognitive Verzerrungen wie den Dunning-Kruger-Effekt (DKE) beeinflusst. Der DKE beschreibt die Tendenz von Personen mit geringer Expertise, ihre eigenen Fähigkeiten zu überschätzen, während Personen mit hoher Expertise ihre Leistung eher unterschätzen. Vor diesem Hintergrund untersucht diese Arbeit mit einer empirischen Studie, wie sich KI-generierte Informationen auf das subjektive Vertrauen in die eigene Entscheidung, die objektive Entscheidungsgenauigkeit sowie demnach den DKE bei technischen Entscheidungsaufgaben auswirken und ob sich diese Effekte zwischen Personen mit unterschiedlichem Fachwissen unterscheiden.Die Ergebnisse zeigen, dass das charakteristische Muster des DKE auch unter dem Einfluss von KI bestehen bleibt. Während KI-generierte Informationen die objektive Entscheidungsgenauigkeit nicht signifikant verbesserten, führten sie zu einer signifikant größeren Diskrepanz zwischen subjektivem Vertrauen und objektiver Leistung und verstärkten damit die Ausprägung des DKE.Zwischen den verschiedenen Expertisegruppen konnten hingegen keine statistisch signifikanten Unterschiede festgestellt werden. Im Gegensatz zu bisherigen Studien wurde der KI-Input für alle Teilnehmenden der KI-Bedingung standardisiert bereitgestellt. Darüber hinaus basierte die Untersuchung auf numerische Aufgaben zu IT-bezogenem Fachwissen anstelle von Multiple-Choice-Fragen, wodurch technische Entscheidungssituationen praxisnäher abgebildet werden konnten. Durch die gemeinsame Untersuchung des Vertrauens in die eigene Entscheidung, der objektiven Entscheidungsgenauigkeit, der Kalibrierung des Vertrauens sowie der Befolgung standardisierter KI-Empfehlungen leistet diese Arbeit einen Beitrag zu einem umfassenderen Verständnis der kognitiven Auswirkungen KI-gestützter Entscheidungsfindung im technischen Kontext.

Artificial intelligence (AI) has become an integral part of both personal and professional decision-making.While previous research has demonstrated that AI can improve human performance in a variety of tasks, little is known about its influence on cognitive biases such as the Dunning Kruger effect (DKE). The DKE describes the tendency of individuals with lower levels of expertise to overestimate their abilities, whereas highly knowledgeable individuals tend to underestimate their performance.Through an empirical study, this thesis therefore investigates how AI-generated input affects confidence, objective decision accuracy, and the DKE in technical decision-making tasks, as well as whether these effects differ across varying levels of expertise.The results show that the characteristic pattern of the DKE persists with AI input.While AI input did not significantly improve objective decision accuracy, it resulted in a significantly greater mismatch between subjective confidence and objective performance, thereby increasing the magnitude of the DKE.However, no statistically significant difference could be observed between different levels of expertise.In contrast to many previous studies, AI input was standardized across all participants in the AI condition, and participants provided numerical estimates rather than selecting answers from multiple-choice questions, thereby more closely reflecting real-world technical decision-making.By jointly examining confidence, objective accuracy, confidence calibration, and reliance on AI, using standardized AI-generated input and numerical estimation tasks, this thesis contributes to a more comprehensive understanding of the cognitive effects of AI-assisted decision-making in technical domains.