Satellite; IoT; Machine Learning; Reinforcement Learning; Scheduling; Satellite Communications; Internet of Things; Wireless Networks; Age of Information
de
Satellite; IoT; Machine Learning; Reinforcement Learning; Scheduling; Satellite Communications; Internet of Things; Wireless Networks; Age of Information
en
Abstract:
Die zunehmende Dichte unkoordinierter Internet of Things (IoT)-Satellitennetzwerke erfordert Medium Access Control (MAC)-Protokolle, die sich dynamisch an schwere Kanalinterferenzen anpassen können. Während traditionelle statische MAC-Protokolle bei geringem Datenverkehr effizient arbeiten, verschlechtert sich ihre Leistung unter hohen Kanallasten erheblich, was zu einem nahezu vollständigen Paketverlust und einem exponentiellen Anstieg des Age of Information (AoI) führt. In Anlehnung an die Design Science Research (DSR)-Methodik adressiert diese Arbeit diese Skalierbarkeitsgrenzen durch die Konzeption und Evaluierung dezentraler,AoI-bewusster Reinforcement Learning(RL)-Scheduling-Strategien innerhalb einer Multi-Empfänger-Non-Orthogonal MultipleAccess (NOMA)-Irregular Repetition Slotted ALOHA (IRSA)-Umgebung.Es werden zwei unterschiedliche RL-Artefakte formuliert und evaluiert. Das erste ist ein tabellarischer Q-Learning-Agent, der Übertragungsgrade lokalen AoI-Zuständen zuordnet. Das zweite ist ein Hybridmodell, das einen Finite-Difference Policy Gradient(FDPG)-Algorithmus zur Entscheidung über den Zeitpunkt der Übertragung und einen Q-Learning-Algorithmus zur Entscheidung über die Anzahl der zu übertragenden Replikate nutzt.Empirische Evaluierungen zeigen, dass beide KI-gestützten Ansätze einen Netzzusammenbruch zwar erfolgreich verhindern, jedoch einen architektonischen Kompromiss darstellen.Das reine Q-Learning-Protokoll maximiert den Durchsatz und hält den durchschnittlichen Netzwerk-AoI unter 2,0 Frames, verschwendet jedoch Batterieenergie durch unvermeidbare Kollisionen, was bei starker Überlastung zu einem Packet Loss Rate (PLR) von nahezu 10% führt. Im Gegensatz dazu unterdrückt das hybride FDPG-Modell den Kanalzugriff bei hoher Auslastung, um den PLR unter 3% zu halten und die Energieeffizienz zu maximieren. Diese Zuverlässigkeit geht zu Lasten eines eingeschränkten Durchsatzes und eines leicht höheren durchschnittlichen Netzwerk-AoI. Die Analyse zeigt, dass eine erhöhte räumliche Diversität Interferenzen auf der physikalischen Schicht mindert, wodurch die dezentralen Agenten die Verkehrsunterdrückung verzögern und Energie sparenkönnen. Diese Ergebnisse bestätigen, dass dezentrale RL-Architekturen die physikalische Schicht von Satelliten-IoT-Netzwerken erfolgreich stabilisieren können und eine gezielte Optimierung für Anwendungen ermöglichen, die entweder maximalen Durchsatz oder strenge Zuverlässigkeit erfordern.
de
The increasing density of uncoordinated satellite Internet of Things (IoT) networks requires Medium Access Control (MAC) protocols that can dynamically adapt to severechannel interference. While traditional static MAC protocols perform efficiently at low traffic volumes, they degrade severely under high channel loads, resulting in near-total packet loss and exponential Age of Information (AoI) growth. Following the DesignS cience Research (DSR) methodology, this thesis addresses these scalability limitations by proposing and evaluating decentralized, AoI-aware Reinforcement Learning (RL)scheduling policies within a multi-receiver Non-Orthogonal Multiple Access (NOMA)-Irregular Repetition Slotted ALOHA (IRSA) environment.Two distinct RL artifacts are formulated and evaluated. The first is a tabular Q-Learningagent that maps transmission degrees to local AoI states. The second is a hybridmodel utilizing a Finite-Difference Policy Gradient (FDPG) algorithm to decide when to transmit, and a Q-Learning algorithm to decide how many replicas to transmit.Empirical evaluations demonstrate that while both AI-driven approaches successfully prevent network collapse, they present an architectural trade-off. The pure Q-Learningprotocol maximizes throughput and maintains an average network AoI below 2.0 frames,but wastes battery energy on inevitable collisions, resulting in a Packet Loss Rate (PLR)approaching 10% under severe congestion. In contrast, the FDPG hybrid suppresseschannel access during heavy loads to keep the PLR below 3% and maximize energyefficiency. This reliability comes at the expense of constrained throughput and a slightly higher average network AoI. The analysis reveals that increased spatial diversity mitigatesphysical-layer interference, allowing the decentralized agents to delay traffic suppression and conserve energy. These findings validate that decentralized RL architectures can successfully stabilize the physical layer of satellite IoT networks, enabling targeted optimization for applications demanding either maximum throughput or strict reliability
en
Additional information:
Arbeit an der Bibliothek noch nicht eingelangt - Daten nicht geprüft
