DC FieldValueLanguage
dc.contributor.advisorJantsch, Axel-
dc.contributor.authorHaas, Bernhard-
dc.date.accessioned2021-04-30T10:43:18Z-
dc.date.issued2021-
dc.date.submitted2021-04-
dc.identifier.urihttps://doi.org/10.34726/hss.2021.79704-
dc.identifier.urihttp://hdl.handle.net/20.500.12708/17369-
dc.description.abstractObwohl enorme Fortschritte im Bereich ’semantic segmentation’ mithilfe von neuartigen neuronalen Netzwerkarchitekturen erzielt wurden, besteht das Problem immer noch, diese Netzwerke auch auf ressourcenschwacher Hardware in akzeptabler Zeit auszuführen, wodurch diese Netzwerke in der Praxis nur eingeschränkt eingesetzt werden können. Ziel dieser Diplomarbeit ist, diese Kluft zwischen modernen ’deep-learning’-Netzwerken und embedded’-Hardware, wie beispielsweise Geräte der NVIDIA Jetson Serie, zu verkleinern oder bestenfalls zu schließen. Dafür soll die Kompressionsmethode der sogenannten ’shunt connections’ genutzt werden. Diese Diplomarbeit zeigt erste Resultate von ’shunt connections’ für die MobileNetV3-Architektur und für den ’semantic-segmentation’-Datensatz ’Cityscapes’. Resultate werden erzielt, indem die Modelle mittels ’knowledge distillation’ trainiert werden. Erste Beschleunigungswerte auf dem NVIDIA Jetson Xavier werden ebenfalls berichtet. Es wird gezeigt, dass MobileNetV3, trainiert auf dem CIFAR100Datensatz, um 31% komprimiert werden kann, ohne dabei an Genauigkeit des Modells einzubüßen. Trainiert man MobileNetV3 auf ’Cityscapes’, lässt sich dieses Modell um 28% komprimieren, wobei 4 Punkte an mIoU verloren gehen. Resultate werden mit der Methode verglichen, MobileNetV3-Modelle mittel ’depth-multiplier’ zu komprimieren, was die Vorteile von ’shunt connections’ weiter hervorhebt.de
dc.description.abstractAlthough modern convolutional neural network architectures achieve astounding results on large-scale tasks like semantic segmentation, employing them on embedded devices still resembles a big challenge, hindering their applications for the real world. This thesis aims at closing the computational gap between embedded devices like the NVIDIA Jetson series and modern deep-learning architectures through improving the method of compressing networks through shunt connections. This thesis shows the applicability of shunt connections on MobileNetV3 and for the semantic segmentation task on the Cityscapes dataset. For this, knowledge distillation is explored as a method to efficiently fine-tune shunt inserted models, while the achieved speed-up of shunt connection compression is measured on the NVIDIA Jetson Xavier device to validate results. It is shown that MobileNetV3 trained on CIFAR100 can be compressed by 31% without losing any accuracy. MobileNetV3 trained on Cityscapes is compressed by 28%, resulting in a drop of four points of mIoU. Results are compared against the compression through using smaller depth multipliers, proving the advantages of shunt connections.en
dc.format76 Seiten-
dc.languageEnglish-
dc.language.isoen-
dc.subjectEmbeddeden
dc.subjectMachine Learningen
dc.subjectKnowledge Distillationen
dc.subjectNeural Networksen
dc.titleCompressing MobileNet with shunt connections for NVIDIA hardwareen
dc.typeThesisen
dc.typeHochschulschriftde
dc.identifier.doi10.34726/hss.2021.79704-
dc.publisher.placeWien-
tuw.thesisinformationTechnische Universität Wien-
dc.contributor.assistantWendt, Alexander-
tuw.publication.orgunitE384 - Institut für Computertechnik-
dc.type.qualificationlevelDiploma-
dc.identifier.libraryidAC16197298-
dc.description.numberOfPages76-
dc.thesistypeDiplomarbeitde
dc.thesistypeDiploma Thesisen
item.openairetypeThesis-
item.openairetypeHochschulschrift-
item.openairecristypehttp://purl.org/coar/resource_type/c_18cf-
item.openairecristypehttp://purl.org/coar/resource_type/c_18cf-
item.fulltextwith Fulltext-
item.cerifentitytypePublications-
item.cerifentitytypePublications-
item.grantfulltextopen-
item.languageiso639-1en-
Appears in Collections:Thesis

Files in this item:

Show simple item record

Page view(s)

36
checked on Jun 21, 2021

Download(s)

70
checked on Jun 21, 2021

Google ScholarTM

Check


Items in reposiTUm are protected by copyright, with all rights reserved, unless otherwise indicated.