A Deep Reinforcement Learning Approach for the Board Game Splendor

Abstract

Viele reale Entscheidungsprobleme sind durch verborgene Variablen, unvollständiges Wissen über andere Akteure und nicht-nullsummige Anreizstrukturen gekennzeichnet. Das Brettspiel Splendor verbindet diese Eigenschaften in einer Mehrspielerumgebung. Obwohl der Großteil des Spielzustands öffentlich sichtbar ist, bleiben die Reihenfolge der verdeckten Entwicklungskarten und verdeckt reservierte Karten anderer Spieler unbekannt. Gleichzeitig erfordert das Spiel langfristige Ressourcenplanung. Diese Arbeit untersucht, ob ein von AlphaZero inspiriertes Reinforcement-Learning-Verfahren auf diese teilweise beobachtbare Mehrspielerumgebung übertragen werden kann und ob neuronengestützte Planung sinnvoll mit einer Behandlung verborgener Information kombiniert werden kann. Zu diesem Zweck wurde eine Forschungsumgebung für Splendor entwickelt. Sie umfasst eine regelbasierte Spiel-Engine, eine Reinforcement-Learning-Schnittstelle, deterministische Initialisierung, Self-Play-Training und eine Turnierumgebung zur Evaluation. Der Agent kombiniert einen Transformer-basierten Zustandsencoder mit Monte-Carlo Tree Search (MCTS), wobei neuronale Policy- und Value-Vorhersagen die Suche steuern. Vektorwertige Value-Funktionen und MaxN-artige Backup-Regeln unterstützen Mehrpersonenspiele. Root Determinization approximiert die partielle Beobachtbarkeit durch die Simulation möglicher vollständiger Spielzustände. Das System wurde durch Self-Play trainiert und hinsichtlich Trainingsverlauf, Spielstärke, verborgener Information und unterschiedlicher Spielerzahlen evaluiert. Der Agent entwickelt im Verlauf des Trainings zunehmend kohärente und strukturierte Strategien und schneidet besser als zufällige beziehungsweise schwächere Baselines ab. Determinisierungsbasierte Planung verbessert zudem die Stabilität der Entscheidungen. Aufgrund begrenzter Rechenressourcen und Trainingsdauer wurde kein Expertenniveau erreicht. Die Ergebnisse zeigen jedoch, dass neuronengestützte Planung trotz Mehrspielerstruktur und partieller Beobachtbarkeit auf Splendor angewendet werden kann. Die Arbeit stellt eine reproduzierbare Forschungsumgebung und einen experimentellen Rahmen für Reinforcement Learning in teilweise beobachtbaren Multi-Agenten-Umgebungen bereit.

Many real-world decision-making problems are characterized by hidden variables, incomplete knowledge of other agents' states, and non-zero-sum incentive structures. Splendor provides a blend of these properties. It is a multi-player resource-management game for 2--4 players. Although most of the board state is publicly accessible, the shuffled order of the development-card decks and opponents' face-down reserved cards remain hidden. Long-term planning is also crucial, since poor short-term choices can limit long-term scoring potential. This thesis examines whether an AlphaZero-inspired RL framework can be extended to this multi-player, partially observable environment using neural-guided planning and hidden-information reasoning. A research environment for Splendor was created, including a rule-based game engine, an RL interface, deterministic seeding, self-play training, and tournament-style evaluation. The proposed agent combines a Transformer-based state encoder with Monte Carlo Tree Search (MCTS), guided by neural policy and value predictions. Vector-valued value functions and MaxN-type backup rules support multi-player play. Root determinization addresses partial observability by sampling possible complete game states during search. The system was trained via self-play RL and evaluated with respect to training convergence, gameplay performance, hidden-information reasoning, and generalization across player counts and randomized configurations. The results show increasingly coherent and structured gameplay strategies over time and better performance than random and weaker baseline opponents. Determinization-based planning also improved decision stability in partially observable situations. Expert-level performance was not attained because of computational and training-duration constraints. However, the results indicate that neural-guided planning can be applied to Splendor despite its multi-player and partially observable elements. This work presents both a reproducible Splendor research environment and an experimental framework for studying RL in partially observable multi-agent domains.