Optimizing deep neural networks for efficient dronebased ragweed detection

Abstract

Ambrosia artemisiifolia auch als Ragweed bekannt ist eine invasive Pflanzenart die sich schnell in Europa ausbreitet. 4-5 Prozent der Bevölkerung reagieren allergisch auf ihre Pollen. Richter u.a haben die weitere Ausbreitung von Ragweed in Österreich und Bayern unter der Annahme verschiedener Klimaentwicklungen und Aktionspläne untersucht und herausgefunden, dass mit einem Anstieg der durchschnittlichen jährlichen Allergiekosten von 133 Mio. im Jahr 2015 auf 422 Mio. EUR im Jahr 2050 zu rechnen ist wenn keinerlei Gegenmaßnahmen ergriffen werden. Heutige Methoden zur Ragweed Behandlung erfordern den Einsatz von Menschen, die die Pflanzen manuell aufspüren und beseitigen. Dieser Prozess ist aufwändig und fehleranfällig. Aus diesem Grund befasst sich diese Arbeit mit der Frage, ob es mit dem heutigen Stand der Technik möglich ist, mittels Flugdrohne und eingebetteter künstlicher neuronaler Netzwerke größere Vegetationsflächen mit hoher Geschwindigkeit und Präzision auf Ragweed zu untersuchen. Im Vergleich zu traditionellen Methoden, könnte dieser Ansatz die Kosten der Ragweed-Erkennung von derzeit rund 860 EUR/km^2 um Größenordnungen reduzieren. Da sich Ragweed häufig auch in Regionen mit unzureichender Breitbandinfrastruktur ausbreitet, ist es manchmal nicht möglich die resourcenintensive Bildanalyse auf leistungsstarke Server in Rechenzentren auszulagern. Darüber hinaus bestehen häufig Bedenken hinsichtlich Privatsphäre die einen Upload von Bilddaten in die Cloud ebenfalls verbieten könnten. Aus diesen Gründen wurden mehrere Computer Vision Modelle nach dem letzten Stand der Technik ausgewählt und mit zwei eigenes gesammelten und annotierten Ragweed-Datensätzen trainiert. Die besten Segmentationsmodelle wurden anschließend unter Einsatz von Shunt-Connections komprimiert und mit Hilfe von Wissensdestillation feingetuned. Anschließend wurden die effektivsten Netzwerke mit der NVidia TensoRT library für die Bereitstellung auf einem Jetson TX2 eingebetteten System weiter optimiert. Es konnte gezeigt werden, dass das beste komprimierte Ragweed-Segmentation-Modell Bilder im Bereich weniger hundert Millisekunden verarbeiten kann, während die Erkennungsqualität durch die notwendige Modellkompression nur geringfügig abnimmt. Daraus ergibt sich die Möglichkeit Ragweed nicht nur in Echtzeit via Dronen zu erkennen, sondern potentiell zukünftig auch die Chance dieses mit Hilfe autonomer Systeme am Wachstum und der weiteren Ausbreitung zu hindern.

Ambrosia artemisiifolia also known as ragweed is an adventive weed species that aggressively spread across Europe. 4-5 percent of the population suffers from strong allergic reactions to its pollen. Richter et al. simulated the dispersion of ragweed in Austria and Bavaria for different climate scenarios and management regimes and found that taking no counteractions would result in a rise of mean annual allergy-related cost from 133 Mio. EUR in 2005 to 422 Mio. EUR in 2050. Today's methods of treating ragweed rely on people manually finding and eradicating the plant in an expensive and error-prone process. This work proposes a novel method that uses aerial drones equipped with embedded systems hosting highly compressed deep neural networks (DNNs) to scan large areas of vegetation for ragweed with high speed and precision. Compared to the manual approaches with an estimated survey cost of roughly 860 EUR/km^2, the proposed technique has the potential to cut the cost for ragweed-detection and monitoring by orders of magnitudes. The challenge is that the range of aerial drones is limited by their battery capacity and energy consumption. It also might not be possible to deploy DNN models with millions of parameters to embedded devices due to memory constraints. Offloading the workload into data centers introduces new issues as the drones may operate in rural areas with insufficient network connectivity or in regions where images are not allowed to be uploaded into cloud data centers. To overcome these challenges several state of the art object detection and segmentation models were trained on ragweed datasets created for the respective tasks. The best performing segmentation models were compressed using shunt connections, fine-tuned with knowledge distillation and further optimized with Nvidias TensorRT library for deployment and evaluation on a Jetson TX2 embedded system. The work concludes that segmentation models can be compressed and deployed to resource constraint devices for efficient and effective ragweed segmentation. The highest accuracy model still achieves subsecond inference latency enabling not only realtime ragweed-survey but also potentially allowing more advanced autonomous eradication use cases.