Sequential Bayesian Optimal Experimental Design using Policy Gradient Methods

Abstract

Ziel dieser Arbeit ist es, die Policy-Gradient-Methode (PG) für Reinforcement Learning auf Probleme des sequenziellen bayesschen optimalen Versuchsdesigns (sOED) einzuführen, zu erläutern und anzuwenden. Dazu geben wir zunächst einen breiten Überblick über die Themen optimales bayessches Versuchsdesign (OED), neuronale Netze (DNNs) und Reinforcement Learning. In den Hauptkapiteln erklären wir, wie wir Markov-Entscheidungsprozesse (MDPs) zur Beschreibung von sOED-Szenarien verwenden, wie wir die KL-Divergenz zur Definition von Belohnungen bei Experimenten nutzen und wie wir zum Maximierungsproblem des erwarteten Nutzengewinns (EIG) gelangen. Zudem schauen wir uns an, wie der Policy-Gradient analytisch berechnet wird und wie sich die Policy-Gradient-Methode für dieses Szenario numerisch mit einem Actor-Critic-Ansatz implementieren lässt, welcher auch die Aktions-Wert-Funktion approximiert. Dafür benötigen wir verschiedene Konzepte, wie Monte-Carlo-Schätzer (MC), überwachtes Lernen sowie Backpropagation für DNNs. Abschließend schauen wir uns zwei Anwendungsbeispiele an. Das erste Beispiel betrachtet die Identifikation einer Schadstoffquelle, was uns einen Vergleich von PG-sOED mit anderen Techniken wie Greedy- und Batch-Design ermöglicht. Das zweite Beispiel befasst sich mit einer Anwendung im Bereich der Halbleiter.

In this thesis, the goal is to introduce, explain and apply the policy gradient (PG) method from reinforcement learning to sequential Bayesian optimal experimental design (sOED) problems. To do so, we begin by giving a broad overview of Bayesian optimal experimental design (OED), deep neural networks (DNNs) and reinforcement learning. In the main sections, we explain how we use Markov decision processes (MDPs) to describe sOED settings, how we use the KL-divergence to define experiment rewards, how we end up with the expected utility gain (EIG) maximization problem, how we calculate the policy gradient analytically and how we can implement the policy gradient method in this setting numerically using an actor-critic approach, which also approximates the action-value function. That will involve several concepts such as Monte Carlo (MC) estimators, supervised learning and backpropagation for DNNs. Lastly, we focus on examples. The first example is a contaminant source identification problem, allowing us to compare PG-sOED with other baseline techniques like greedy and batch design and the second example considers a semiconductor setting.