Lossless neural compression for resource constrained environments: Using deep latent probabilistic models with bits-back asymmetric numerical systems

Abstract

Internet of Things (IoT) Anwendungen werden zunehmend in diversen Bereichen, wie etwa dem autonomen Fahren oder in vernetzten Haushaltsgeräten eingesetzt. Diese IoT Anwendungen basieren oft auf Geräten, die durch verschiedene Sensoren große Datenmengen generieren. Dadurch ergeben sich wachsende Anforderungen an die verfügbare Bandbreite in IoT Netzwerken. Neuartige Kompressionsverfahren für Sensordaten insolchen Netzwerken werden deshalb benötigt, um den wachsenden Anforderungen gerecht zu werden. Diese Diplomarbeit beschreibt einen Lösungsansatz für diese Herausforderung bei dem neuartige verlustfreie Kompressionsverfahren genutzt werden. Dafür werden aktuelle Fortschritte im Bereich der neuronalen Datenkompression genutzt, um Deep Neural Networks für die Kompression von Sensordaten zu verwenden. Datenkompression mit Neural Networks die Wahrscheinlichkeitsmodelle mit latenten Variablen darstellen, kann existierende Verfahren übertreffen da domänenspezifische Eigenschaften des Datensatzes erfasst werden. Es ist jedoch nicht klar, ob diese Herangehensweise auch in Umgebungen mit eingeschränkten Rechenressourcen, in denen die Komplexität von Neural Networksbeschränkt ist, anwendbar ist. Deshalb wurde im Rahmen dieser Arbeit eine physische Testumgebung für Experimente in IoT Netzwerken genutzt, um eine realistische Evaluierung durchzuführen. Das effiziente Bits-Back Asymmetric Numeral Systems Verfahren wurde benutzt, um verschiedene Datensätze mit Deep Neural Networks zu komprimieren. Die Ergebnisse zeigen, dass diese Herangehensweise in einigen Szenarien signifikant bessere Kompressionsraten als etablierte Datenkompressionsverfahren erzielen kann. Darüber hinaus konnten vielversprechende Ansätze für die Verbesserung des entwickelten Prototyps sowie für weitere Forschung identifiziert werden.

Internet of Things (IoT) applications see increasing adoption in various fields, such as autonomous vehicles and home appliances. Notably, intelligent IoT applications require devices featuring sensors that generate large volumes of data incurring significant bandwidth consumption. Consequently, novel compression methods for sensor data that can operate in resource-constrained IoT environments are necessary to prevent erratic response delays due to network congestion.This thesis addresses the accelerating network traffic from the increasing number of IoT devices continuously transmitting sensor data with novel lossless data compression methods.Specifically, we draw from recent advancements in neural lossless data compression,focusing on the feasibility and efficacy of utilizing deep latent probabilistic neural networks for compressing sensor data. Learned latent variable models outperform handcrafted standards by accurately capturing domain-specific data distributions. However, it is not clear whether neural methods can retain their advantage in practical resource-constrained environments that limit the size of the model a device can realistically execute.To this end, we implement and evaluate a compression setup using the efficient Bits-Back Asymmetric Numeral System scheme on various datasets. We ensure that the neural compression method generalizes to resource-constrained environments by conducting experiments on a physical testbed designed for experimental research in IoT. We compare our results to several widely-used compression standards and show how deep probabilisticlatent variable models can outperform them significantly in compression rate for some scenarios. Our findings demonstrate the viability of neural compression methods for constrained devices and suggest a promising research directive.