Bias in medical recommendations: Prompting vs. fine-tuning of large language models

Abstract

Große Sprachmodelle (Large Language Models, LLMs) werden zunehmend für die Bereitstellung medizinischer Beratung eingesetzt, einschließlich Diagnosevorschlägen, Behandlungsplänen und Empfehlungen für die Gesundheitsversorgung. Da sich immer mehr Menschen bei ersten medizinischen Beratungen auf LLMs verlassen – entweder vor dem Besuch eines Arztes oder in manchen Fällen anstelle einer professionellen Behandlung – nimmt die Abhängigkeit von diesen KI-Systemen stetig zu. Dies gibt Anlass zur Sorge hinsichtlich potenzieller Verzerrungen in den Modellergebnissen, insbesondere solcher, die mit der ethnischen Zugehörigkeit zusammenhängen. Verzerrungen in medizinischen Empfehlungen können schwerwiegende Folgen in der Praxis haben. Insbesondere können ungleiche Behandlungsempfehlungen aufgrund der ethnischen Zugehörigkeit von Patientinnen und Patienten bestehende Ungleichheiten im Gesundheitswesen verschärfen, zu unangemessener medizinischer Beratung führen und letztendlich die Behandlungsergebnisse beeinträchtigen. Daher ist es für die Sicherheit und Vertrauenswürdigkeit von KI-Systemen im Gesundheitswesen entscheidend, dass LLMs unvoreingenommene medizinische Beratung liefern. Diese Masterarbeit zielt darauf ab, auf den dringenden Bedarf an Mechanismen aufmerksam zu machen, die rassistische Vorurteile in medizinischen Anwendungen großer Sprachmodelle erkennen, messen und abschwächen können. Untersucht wird, inwiefern Feinabstimmung und Prompting als Mechanismen zur Steuerung des Modellverhaltens diese Vorurteile beeinflussen und ob ein Mechanismus effektiver als der andere ist, um Vorurteile zu reduzieren und letztendlich zu inklusiveren Empfehlungen im Gesundheitswesen beizutragen.

A significant use case for large language models (LLMs) is the provision of medical advice, including diagnostic suggestions, treatment plans and healthcare recommendations. As individuals increasingly rely on LLMs for initial medical consultations either before visiting a healthcare professional or, in some cases, instead of seeking professional care, the dependency on these AI systems continues to increase. This raises concerns about the potential biases embedded in model outputs, particularly biases related to race. Bias in medical recommendations can have serious real-world consequences. In particular, unequal treatment recommendations based on a patient’s race may worsen existing healthcare disparities, lead to inappropriate medical advice, and ultimately affect patient outcomes. Therefore, ensuring that LLMs provide unbiased medical guidance is needed for both the safety and trustworthiness of AI in healthcare. This thesis aims to draw attention to the strong need for mechanisms that can detect, measure and mitigate racial bias in the medical applications of LLMs. The goal is to determine how fine-tuning and prompting, as mechanisms for shaping model behaviour, influence these biases, and whether one mechanism is more effective than the other at reducing biases, ultimately contributing to more inclusive healthcare recommendations.