Benchmarking and extension of deep-learning-based signal-strength prediction models for cellular networks

Abstract

Die Kommunikationssysteme von heute und morgen müssen nahtlose Konnektivität bieten, sei es für Unterhaltungszwecke wie Video-Streaming oder für sicherheitskritische Kommunikation in Zügen und im autonomen Fahren. Um die bestehenden Netzwerke und potenziellen Erweiterungen hinsichtlich der Funkabdeckung evaluieren zu können, benötigen Mobilfunknetzbetreiber präzise Planungswerkzeuge. Eine Vielzahl neuer Methoden für die Netzplanung ist im Zuge des rasanten Fortschritts im Bereich des maschinellen Lernens entstanden. Insbesondere Depp-Learning-Ansätze haben in der Literatur vielversprechende Ergebnisse im Vergleich zu bestehenden Methoden gezeigt. Arbeiten verwenden jedoch unterschiedliche zugrunde liegende Datensätze und verschiedene Methoden zur Aufteilung in Trainings- und Testdaten. Darüber hinaus sind Datensätze häufig nicht öffentlich zugänglich oder nur als zensierte Versionen verfügbar, da sie auf sensiblen Daten von Mobilfunknetzbetreibern basieren. Dadurch ist es schwierig, Ergebnisse zu vergleichen und eindeutige Schlussfolgerungen darüber zu ziehen, welches Modell besser geeignet ist. In dieser Arbeit gehen wir einen Schritt in Richtung einer einheitlichen Bewertungsstrategie, um faire Vergleiche zu ermöglichen. Dafür verwenden wir einen öffentlich zugänglichen Datensatz und evaluieren darauf Modelle aus der Literatur. In Übereinstimmung mit den Originalarbeiten konnten wir die überlegene Leistung der Deep-Learning-basierten Modelle im Vergleich zu einem klassischen Referenzmodell bestätigen. Darüber hinaus haben wir die Bedeutung der verwendeten Datenaufteilung hervorgehoben und gezeigt, dass sich die Reihenfolge, in der die Modelle anhand ihrer Vorhersageleistung ordnen, je nach gewählter Aufteilungsmethode umkehren kann. Neben dem öffentlichen Datensatz, der auf geschätzten Netzwerkdaten basiert, hatten wir auch Zugriff auf die nicht geschätzten Daten des Mobilfunknetzbetreibers, wodurch wir den Einfluss ungenauer Netzwerkdaten auf die Vorhersageleistung der Modelle untersuchen konnten. Wie erwartet verschlechtert sich die Modellleistung bei der Verwendung ungenauer Daten, wobei sich interessanterweise herausstellt, dass das Ausmaß der Fehlerzunahme von der gewählten Aufteilungsmethode abhängt. Nach dem Benchmarking der Modelle auf einem städtischen Datensatz haben wir die Analyse auf eine ländliche Umgebung ausgeweitet. Dabei haben wir untersucht, wie gut sich die Modelle von einer Umgebung auf eine andere übertragen lassen. Es zeigte sich, dass die auf den städtischen Bereich trainierten Modelle im ländlichen Bereich nur eingeschränkt funktionieren und im Vergleich zum Referenzmodell abgeschlossen schlechter sind. Wurden die Modelle explizit für den ländlichen Bereich trainiert, war ein erheblicher Leistungsanstieg zu verzeichnen. Abschließend haben wir bestehende Modelle erweitert und untersucht, wie sich die Einbeziehung von Landnutzungsinformationen auf die Genauigkeit der Signalstärkevorhersage auswirkt. Für beide betrachteten Deep-Learning-Modelle konnte gezeigt werden, dass durch die Integration dieser zusätzlichen Information der Vorhersagefehler weiter reduziert wird.

Today’s and future communication systems must provide seamless connectivity, whether for user entertainment such as video streaming or safety-critical communications for railways and automated driving. Therefore, mobile network operators continuously strive to improve their networks by evaluating their current deployments and carefully analysing potential improvements. To be able to make informed decisions, operators require accurate planning tools. With the advent of machine learning and, in particular, deep learning, a surge of new methods used for signal-strength prediction has been proposed in the literature, and many of those show promising results when compared to the existing approaches. However, the different works use datasets of different sizes, collected in different environments with different levels of sample diversity, and use different ways of splitting the data into training and test data. Further, datasets are often not publicly available or censored as they use sensitive operator data. Consequently, comparing results and drawing definitive conclusions is challenging, as no unified evaluation strategy has yet emerged. In this work, we take a step towards such a unified evaluation strategy by utilising a common, publicly available, and ready-to-use dataset with a subsequent evaluation of models from the literature. Aligned with the original works, we confirmed the superior performance of the deep-learning-based models over the classical baseline model. Further, we highlighted the importance of the underlying data splitting methodology used and showed that the model ranking can reverse, depending on the data split used. In addition to the public dataset, which utilises estimated network data, we had access to the ground truth version as well, which allowed us to investigate the influence of using estimated data on the model prediction performance. As expected, model performance suffers from inaccurate input data. Interestingly,the extent of the error increase is dependent on the split used. After benchmarking the models on the urban dataset, we extend the analysis to a rural setting. There, we evaluated the models’ cross-environment generalisation capabilities and how the performance compares to the urban setting for which they were originally developed. We showed that the models’performance generally does not transfer across environments. In particular, when using models which were trained on urban data, their performance on rural data was below the baseline. However, when trained on rural data, the errors decreased substantially, reaching levels similar to those in the urban setting, highlighting the potential of scenario-dependent deep-learning-based propagation models. Finally, we extended the existing models and investigated how adding land cover information to the models’ input impacts the accuracy of signal-strength prediction. For both analysed deep-learning-based models, incorporating land cover information reduced the prediction error.