Title: Compressing MobileNet With Shunt Connections for NVIDIA Hardware
Language: English
Authors: Haas, Bernhard 
Qualification level: Diploma
Advisor: Jantsch, Axel  
Assisting Advisor: Wendt, Alexander 
Issue Date: 2021
Number of Pages: 72
Qualification level: Diploma
Abstract: 
Obwohl enorme Fortschritte im Bereich ’semantic segmentation’ mithilfe von neuartigen neuronalen Netzwerkarchitekturen erzielt wurden, besteht das Problem immer noch, diese Netzwerke auch auf ressourcenschwacher Hardware in akzeptabler Zeit auszuführen, wodurch diese Netzwerke in der Praxis nur eingeschränkt eingesetzt werden können. Ziel dieser Diplomarbeit ist, diese Kluft zwischen modernen ’deep-learning’-Netzwerken und embedded’-Hardware, wie beispielsweise Geräte der NVIDIA Jetson Serie, zu verkleinern oder bestenfalls zu schließen. Dafür soll die Kompressionsmethode der sogenannten ’shunt connections’ genutzt werden. Diese Diplomarbeit zeigt erste Resultate von ’shunt connections’ für die MobileNetV3-Architektur und für den ’semantic-segmentation’-Datensatz ’Cityscapes’. Resultate werden erzielt, indem die Modelle mittels ’knowledge distillation’ trainiert werden. Erste Beschleunigungswerte auf dem NVIDIA Jetson Xavier werden ebenfalls berichtet. Es wird gezeigt, dass MobileNetV3, trainiert auf dem CIFAR100Datensatz, um 31% komprimiert werden kann, ohne dabei an Genauigkeit des Modells einzubüßen. Trainiert man MobileNetV3 auf ’Cityscapes’, lässt sich dieses Modell um 28% komprimieren, wobei 4 Punkte an mIoU verloren gehen. Resultate werden mit der Methode verglichen, MobileNetV3-Modelle mittel ’depth-multiplier’ zu komprimieren, was die Vorteile von ’shunt connections’ weiter hervorhebt.

Although modern convolutional neural network architectures achieve astounding results on large-scale tasks like semantic segmentation, employing them on embedded devices still resembles a big challenge, hindering their applications for the real world. This thesis aims at closing the computational gap between embedded devices like the NVIDIA Jetson series and modern deep-learning architectures through improving the method of compressing networks through shunt connections. This thesis shows the applicability of shunt connections on MobileNetV3 and for the semantic segmentation task on the Cityscapes dataset. For this, knowledge distillation is explored as a method to efficiently fine-tune shunt inserted models, while the achieved speed-up of shunt connection compression is measured on the NVIDIA Jetson Xavier device to validate results. It is shown that MobileNetV3 trained on CIFAR100 can be compressed by 31% without losing any accuracy. MobileNetV3 trained on Cityscapes is compressed by 28%, resulting in a drop of four points of mIoU. Results are compared against the compression through using smaller depth multipliers, proving the advantages of shunt connections.
Keywords: Embedded; Machine Learning; Knowledge Distillation; Neural Networks
URI: https://doi.org/10.34726/hss.2021.79704
http://hdl.handle.net/20.500.12708/17369
DOI: 10.34726/hss.2021.79704
Library ID: AC16197298
Organisation: E384 - Institut für Computertechnik 
Publication Type: Thesis
Hochschulschrift
Appears in Collections:Thesis

Files in this item:

Show full item record

Page view(s)

12
checked on May 6, 2021

Download(s)

5
checked on May 6, 2021

Google ScholarTM

Check


Items in reposiTUm are protected by copyright, with all rights reserved, unless otherwise indicated.