Lowering the Threshold for Embedded AI Ethics: Designing Self-Assessment Tools for Stakeholder-Identified Ethical Concerns

Abstract

Technologien die unethisch sind, diskriminieren oder Schaden verursachen (etwa die Privatsphäre verletzen), resultieren häufig aus Entwickler:innen, die Schwierigkeiten haben, ethische Anforderungen im Entwicklungsprozess zu integrieren, zu definieren und zu bewerten. Immer schneller werdende technologische Entwicklungen, der allgegenwärtige Einsatz von KI sowie die unterschiedlichen Interessen aller komplexen Stakeholder verstärken diese Problematik. Diese Arbeit untersucht daher zentrale Fragen zu ethischen Audits von KI-Technologien: Welche Werte und ethischen Risiken sind relevant? Und wie lassen sie sich in eine prüfbare Form verwandeln? Im Mittelpunkt der Arbeit steht insbesondere die Rolle unterschiedlicher Stakeholder bei der Identifikation dieser Bedürfnisse. Des Weiteren werden Tools entwickelt, welche das Erstellen von auditierbaren Artefakten (den Ethical Focus Areas) unterstützen. Der resultierende Workflow sind die Ethics Self-Assessment Tools (ESAT). Die Arbeit verfolgt einen Mixed-Methods-Ansatz, um die Literatur zu diesen Problemen kritisch zu analysieren, aus bestehenden Ansätzen Lücken herauszuarbeiten sowie einen partizipativen Workflow zum Erheben von ethischen Anliegen zu entwickeln. Durch erste Workshops entsteht eine zugängliche Methode, die ethische Fragestellungen als strukturierte Daten generiert. Ergänzend wird ein einfach nutzbares Webtool entwickelt, welches die Daten in testbare Artefakte verarbeitet. Das ermöglicht es Entwicklungsteams ohne Ethik-Expertise, einen Zugang zu systematischen Bewertungen ihrer Technologien zu erhalten. Fokus dieser Arbeit sind kontextabhängige Technologien wie KI-Beratungsagenten (zum Beispiel auf Large Language Models (LLM) basierende Chatbots). Ebenso wird über die Übertragbarkeit des ESAT-Workflows auf andere Systeme reflektiert. Die Ergebnisse zeigen darauf hin, dass ein Ansatz, welcher auf den Bedürfnissen von Stakeholdern basiert, kontinuierliche, kontextsensitive Bewertungen von KI-Systemen aufgrund ethischer Aspekte ermöglicht und sich zu einem generellen Audit-Toolkit erweitern lässt.

Unethical technology, such as systems that discriminate, exploit, cause harm, or violate privacy, often arise from developers' struggles to define, assess and implement ethics during development. The increasing pace of technological advancement, the ubiquitous deployment of AI, and the complexity of shareholder considerations add to this challenge.This thesis seeks to investigate key questions about ethical technology audits: what are the relevant values and ethical concerns involved? And how can these be translated into a testable environment? In particular, it explores the role of stakeholders in identifying relevant values and creates tools that assist in translating them into the auditable artefacts of Ethical Focus Areas (EFAs). The resulting workflow are the Ethics Self-Assessment Tools (ESAT). A mixed-methods approach is employed throughout the thesis to critically analyse the problem, current approaches and their gaps, and to develop a participatory workflow for eliciting values and concerns. Through trial workshops, a streamlined and approachable method that generates ethical concerns as data is established. Additionally, a straightforward webtool to process and translate this data into testable artefacts is developed, making the ethics assessment more accessible to non-ethical-expert developers. Context-sensitive applications, such as LLM-based advice chatbots, are the focus of this thesis. However, the transferability to other systems is also discussed. The results indicate that by rooting the concerns directly in stakeholders' desires and expectations, the ESAT workflow builds towards a comprehensive toolkit that integrates auditing procedures early on in an AI's development cycle, enabling a continuous, context-sensitive, and adaptable assessment of a technology's ethical concerns.