Integrating microwave remote sensing and deep learning for enhanced agricultural monitoring

Abstract

Etwa ein Drittel der Landfläche der Erde wird landwirtschaftlich genutzt. Aufgrund des raschen Bevölkerungswachstums und des steigenden Wohlstands wird die Nachfrage nach Nahrungsmitteln auch in Zukunft deutlich steigen. Gleichzeitig gefährdet der Klimawandel landwirtschaftliche Flächen. Die zunehmende Häufigkeit und Intensität von Dürren und extremen Wetterereignissen führen zudem zu einem erhöhten Risiko von Ernteausfällen. Um diese Auswirkungen auf die Landwirtschaft zu überwachen und die zukünftige Ernährungssicherheit zu gewährleisten, besteht ein zunehmender Bedarf an einem verbesserten landwirtschaftlichen Monitoring. Fernerkundung ermöglicht eine großflächige und konsistente Überwachung der Landoberfläche der Erde. Die Mikrowellenfernerkundung ist hierbei eine besonders wertvolle Datenquelle, da sie eine kontinuierliche Datenverfügbarkeit gewährleistet und die Erfassung wichtiger Vegetationsmerkmale erlaubt. Synthetic Aperture Radar (SAR) Satelliten wie die Copernicus C-Band-Mission Sentinel-1 liefern wertvolle Informationen über Vegetationsmerkmale mit hoher zeitlicher und räumlicher Auflösung. Diese erlauben Rückschlüsse auf die Vitalität, den Ernteertrag und die Wasserversorgung der Pflanzen. Aufgrund der steigenden Anzahl von Satelliten, insbesondere im Rahmen des Copernicus-Programms der ESA, nimmt die Menge der Erdbeobachtungsdaten kontinuierlich zu. Um diese Daten auszuwerten, sind automatisierte Methoden erforderlich. Künstliche Intelligenz (KI) und insbesondere Deep Learning (DL) ermöglichen eine effiziente Verarbeitung dieser Daten. In den letzten Jahren wurden bereits zahlreiche Studien im Zusammenhang mit Mikrowellenfernerkundung und DL für landwirtschaftliches Monitoring veröffentlicht, die das generelle Potenzial unterstreichen. Trotz der Vielzahl an Veröffentlichungen besteht weiterer Forschungsbedarf in diesem Fachbereich. Das Ziel dieser Dissertation ist es, landwirtschaftliches Monitoring auf Basis von Mikrowellenfernerkundung und DL zu verbessern, indem das Potenzial und die Grenzen der Daten und Algorithmen für verschiedene Anwendungsbereiche besser verstanden werden. Im Einzelnen werden folgende Fragen behandelt i) Wie schneiden Long Short-Term Memory (LSTM) Netzwerke und Random Forest (RF) bei der Klassifizierung von Kulturpflanzen auf Basis der Mikrowellenfernerkundung im Vergleich ab? ii) Welches Potenzial und welche Grenzen haben Mikrowellenfernerkundungsdaten für die Detektion von Graslandschnitten? iii) Welchen Wert haben meteorologische Daten für diese Anwendungen? iv) Welchen Wert hat satellitengestützte und modellbasierte Bodenfeuchte (SSM) für die Vorhersage des Ertrags von Sommergerste? Die Ergebnisse der Studien unterstreichen das große Potenzial von Mikrowellenfernerkundung und Deep Learning für landwirtschaftliches Monitoring. Im Einzelnen liefern sie folgende Erkenntnisse: i) LSTM-Netzwerke mit zunehmender räumlicher und zeitlicher Skala Entscheidungsbaumalgorithmen wie Random Forest übertreffen, ii) C-Band-Rückstreuung und DL Modelle können zur zuverlässigen Erkennung von ersten Schnitten in Grasland verwendet werden. Einschränkungen in der Genauigkeit treten bei sinkender Grashöhe auf. Niederschlagsereignisse können zudem zu falsch-postiven Detektionen führen. iii) Meteorologische Daten zeigen einen begrenzten Wert für die Verbesserung der DL-basierten Klassifizierung von Kulturpflanzen. iv) Sowohl satellitengestützte als auch modellbasierte SSM sind für die Vorhersage des Ertrages von Sommergerste von großem Wert. In Gebieten wie z.B. Gebirgen oder dichter Vegetation, in denen keine das modellbasierte SSM-Produkt von Vorteil sein. Diese Ergebnisse tragen zu einem besseren Verständnis des Potenzials und der Grenzen der Mikrowellenfernerkundung in Kombination mit DL für landwirtschaftliches Monitoring bei und ermöglichen die Entwicklung robusterer und skalierbarer Anwendungen. Neue SAR-Missionen wie NISAR und ROSE-L liefern neue Daten mit längeren Wellenlängen, die neue Informationen für landwirtschaftliche Anwendungen ermöglichen. Neue Entwicklungen im Bereich der künstlichen Intelligenz, wie physikalisch unterstützte KI, bieten zusätzliches Potenzial, um landwirtschaftliches Monitoring weiter zu verbessern und die Lebensmittelversorgung in Zukunft sicherzustellen.

About one-third of the Earth's land surface is used for agricultural production. Due to rapid population growth and increasing prosperity, the demand for food will continue to rise significantly in the future. At the same time, climate change is constantly altering the regions where food is grown. The increasing frequency and intensity of droughts and extreme weather events also lead to an increased risk of crop failures. To monitor these effects on agriculture and to ensure future food security, there is an increasing need for improved agricultural monitoring.Remote sensing allows large-scale and consistent monitoring of the Earth's land surface. Microwave remote sensing is a particularly valuable data basis as it ensures continuous data availability and is sensitive to key vegetation characteristics. Synthetic Aperture Radar (SAR) satellites such as the Copernicus C-band mission Sentinel-1 allow retrieving this information at a high temporal and spatial resolution and to persistently assess plant health, agricultural productivity, and water management. Artificial Intelligence (Al) and in particular, deep learning (DL) allow exploiting this data efficiently. Numerous studies in the context of microwave remote sensing and DL for agricultural monitoring have already been published in recent years, underlining their potential. Despite the high number of existing publications, there is further research required in this field.The aim of this dissertation is to improve agricultural monitoring based on microwave remote sensing and DL by better understanding the potential and limitations of the data and algorithms for different applications. In detail, it addresses the following questions: i) How do Long Short-Term Memory (LSTM) networks and Random Forest (RF) compare for microwave remote sensing-based crop classification? ii) What is the potential and what are the limitations of microwave remote sensing data and DL for grassland cut detection? iii) What is the value of meteorological data for these applications? iv) What is the value of satellite-derived and model-based Surface Soil Moisture (SSM) for spring barley yield prediction?The results from these studies demonstrate a great potential of microwave remote sensing and deep learning for agricultural monitoring. They further suggest that i) LSTM networks outperform decision tree algorithms like RF with increasing spatiotemporal scale, ii) C-band backscatter and DL models can be used to reliably detect first cuts in grassland. Limitations occur with decreasing grass height and precipitation can cause false positives. iii) Meteorological data shows limited value to improve DL based crop classification. iv) Both satellite-derived and modeled SSM have great value for predicting spring barley yield. In areas where the landcover hinders reliable satellite-based SSM retrievals, the modeled SSM product can be advantageous. These findings contribute to a better understanding of the potential and limitations of microwave remote sensing and DL for agricultural monitoring, allowing the development of more robust and scalable monitoring applications.