Safe Online Mobile Network Optimization Through Digital Twin-Enhanced Monte Carlo Tree Search

Abstract

The efficient operation of cellular networks requires precise tuning of configuration parameters such as the antenna downtilt or the transmit power. Data-driven methods, which can integrate feedback from monitoring data, are promising but face challenges related to sample efficiency, scalability, and safety, limiting their real-world application. In this work, we introduce an innovative online coverage and capacity optimization framework that combines model-free exploration using Monte Carlo tree search with a safe, model-based baseline derived from a probabilistic differentiable network twin. We formulate the optimization task as a sequential tree search problem, developing specialized policies to guide the exploration of the configuration space. The differentiable network twin aids both the selection policy, by pruning the search space with a prior action distribution, and the rollout policy, enabling domain knowledge-based selection of remaining actions. Our results demonstrate that the proposed approach effectively guides the optimization process, outperforming both purely model-free and model-based methods. Our solution improves safety by reducing the risk of testing poorly performing configurations, enhances the model-based solution, and can also compensate for severe model mismatches in the digital twin. The framework thus addresses a common obstacle in applying data-driven optimization to real-world network deployments.

Der effiziente Betrieb zellularer Netze erfordert die präzise Einstellung von Konfigurationsparametern wie dem Antennen-Downtilt oder der Sendeleistung. Datengetriebene Methoden, die Feedback aus Monitoringdaten integrieren können, sind zwar vielversprechend, stehen jedoch vor Herausforderungen hinsichtlich Dateneffizienz, Skalierbarkeit und Betriebssicherheit, was ihren praktischen Einsatz einschränkt.

In dieser Arbeit stellen wir ein innovatives Framework zur Online-Optimierung von Abdeckung und Kapazität vor. Dieses kombiniert modellfreie Exploration mittels Monte-Carlo-Baumsuche mit einer sicheren, modellbasierten Baseline, die aus einem probabilistischen, differenzierbaren Netzwerk-Zwilling (Differentiable Network Twin) abgeleitet wird. Wir formulieren die Optimierungsaufgabe als sequenzielles Baumsuchproblem (Tree search) und entwickeln spezialisierte Strategien (Policies), um die Exploration des Konfigurationsraums zu steuern.

Der differenzierbare Netzwerk-Zwilling unterstützt dabei sowohl die Auswahlstrategie durch die Einschränkung des Suchraums mittels einer A-priori-Aktionsverteilung als auch die Rollout-Strategie, indem er eine auf Domänenwissen basierende Auswahl der verbleibenden Aktionen ermöglicht. Unsere Ergebnisse zeigen, dass der vorgeschlagene Ansatz den Optimierungsprozess effektiv steuert und sowohl rein modellfreien als auch modellbasierten Methoden überlegen ist. Unsere Lösung erhöht die Betriebssicherheit durch die Risikominimierung beim Testen leistungslimitierter Konfigurationen, verbessert den modellbasierten Ansatz und kompensiert zudem gravierende Modellabweichungen im digitalen Zwilling. Das Framework adressiert somit ein zentrales Hindernis für die Anwendung datengetriebener Optimierung in realen Netzwerkimplementierungen.