Ensuring Norm Compliance in Reinforcement Learning Agents through Rule Revision

Abstract

Aufgrund der steigenden Verbreitung von autonomen Agenten, unter anderem in sicherheitskritischen Bereichen wie autonomen Fahrzeugen, ist es nötig zu garantieren, dass diese sich an Normen halten, unabhängig davon, ob diese rechtlicher, ethischer oder sozialer Natur sind. Reinforcement Learning (RL) ist eine weit verbreitete Technik, um autonome Agenten zu entwickeln. Dies führt zu der Herausforderung RL-Agenten beizubringen sich an Normen zu halten, während sie ihrer eigentlichen Aufgabe nachgehen. Um diese Problematik zu adressieren, präsentieren wir eine neuartige Herangehensweise um die Zahl der Normverletzungen, die ein RL-Agent begeht, zu reduzieren und verständliche Erklärungen für die Entscheidungen des Agenten, die zu Normverletzungen führen, zu liefern. Für diesen Zweck nutzen wir symbolische Regeln. Unser System wird auf bereits trainierte Agenten angewendet, mit dem Ziel ihre Normeinhaltung zu verbessern, wodurch zeit-intensives Neutrainieren weniger notwendig ist. Wir zeigen die Effektivität der vorgestellten Methode, indem wir sie in vier normativen Szenarien mit unterschiedlicher Komplexität evaluieren und einen formalen Beweis präsentieren, der zeigt, dass unsere Methode die Anzahl verhinderbarer Normverletzungen mit hoher Wahrscheinlichkeit nach oben hin begrenzt.

The increasing deployment of autonomous agents, in safety-critical domains such as autonomous vehicles, requires ensuring their norm adherence, regardless of whether these norms are of legal, ethical, or social nature. Reinforcement learning (RL) is a popular approach to developing autonomous agents, giving rise to the challenge of teaching RL agents to comply with norms while performing well at their assigned task. Addressing this issue, we propose a novel approach to reduce the number of norm violations committed by an agent, while also providing interpretable explanations for the decisions that lead to norm violations. To this end, we use symbolic rules. Our framework is applied to already trained agents, with the goal of improving their norm adherence and reducing the need for time-consuming retraining. We demonstrate the effectiveness of our method by evaluating it in four different normative scenarios of varying complexity and by providing a formal proof that it bounds the number of preventable norm violations with high probability.