Mobile vision system for estimation of soil and plant properties

Abstract

Computer vision serves as the foundation for the automation of many processes and tasks on agricultural fields. Camera-based applications can be used as assistance systems and for the more efficient use of agricultural machines. From an environmental perspective,erosion and nitrate pollution are major challenges in agriculture. Vision systems on agricultural implements can guide tillage and fertilization in a more sustainable way and are the foundation for full automation. This thesis presents soil cover and soil roughness estimation methods from short distances by cameras, as well as, methods for grassland yield and composition estimation. Soil cover decreases soil erosion by reducing the kinetic energy of rain drops impacting the soil surface where as a certain level of soil roughness reduces erosion as soil wash-off is reduced. Both parameters must be measurable in order to automatically manage them in agronomic processes like tillage. On the other hand, yield estimation in grassland forms the basis for site-specificfertilization, which in turn reduces nitrate pollution in the groundwater.The proposed methods for soil cover estimation are based on so-called entangled random forests as well as on a convolutional neural network (CNN). Both methods areable to distinguish between soil, living organic matter, dead organic matter and stones by semantic segmentation of RGB images. A stereo camera setup enables soil roughness estimation in real time on a power harrow. The methods for soil cover estimation are integrated for handling residues during the roughness estimation. The final RGB stereocamera setup, equipped with AI inference hardware, is also able to estimate grassland yields by plant height measurement and plant composition estimation using CNNs on amower. The camera mounted on a rake detects and measures grassland swaths. The system opens various applications in grassland harvesting from machine steering and yield estimation to real-time machine control and logistics optimization. The methods for soil cover estimation exceed state of the art methods and are the basis for reliable soil roughness measurement. The method for soil roughness measurement was compared to the sieve analysis and was judged to be sufficiently accurate for the task of seeding with a power harrow as secondary tillage. In this thesis, the first method is presented to control a tillage machine in real time using soil roughness measurements. It has been shown that the method for controlling a power harrow improves homogeneity of soil roughness on the field during seeding. In the grassland, new methods are proposed for measuring yield and composition directly on agricultural implements like the mower and the rake. Additional sensors (radar, laser and ultrasound) were used during mowing to investigate their suitability for yield estimation. The methods utilized in the grassland are compared to weighed dry matter yield samples over three seasons. All methods were developed in the context of extensive field trials to explore environmental influences.The field trials were conducted across fields and across seasons to investigate and reduce seasonal and regional biases.

Computer Vision ist die Basis für Automatisierung vieler Prozesse und Aufgaben in der Landwirtschaft. Auf dem Weg zur Vollautomatisierung können Bildverarbeitungsanwendungen in einem ersten Schritt als Assistenzsysteme und zur effizienteren Nutzung von Landmaschinen eingesetzt werden. Aus Umweltgesichtspunkten sind Erosion und Nitratverschmutzung große Herausforderungen in der Landwirtschaft. Computer Vision Systeme auf landwirtschaftlichen Maschinen können helfen, Bodenbearbeitung und Düngung auf nachhaltigere Weise durchzuführen und den Weg zur Autonomisierung öffnen. Ziel dieser Arbeit ist es, an Methoden zu forschen, mit denen Boden- und Pflanzenparameter mit Kamerasystemen auf landwirtschaftlichen Maschinen erfasst werden können. In dieser Arbeit werden Methoden zur Schätzung der Bodenbedeckung und der Bodenrauheit aus kurzen Entfernungen mithilfe von Kameras, sowie Methoden zur Schätzung des Ertrags und der Zusammensetzung von Grünland vorgestellt. Bodenbedeckung verringert die Bodenerosion, indem sie die kinetische Energie der auf der Bodenoberfläche auftreffenden Regentropfen reduziert, während eine gewisse Bodenrauheit die Erosion durch reduzierte Bodenabschwemmung verringert. Beide Parameter müssen messbar sein, um sie im Zuge agronomischer Prozesse, wie der Bodenbearbeitung, zu optimieren. Andererseits bildet die Ertragsabschätzung im Grünland die Grundlage für eine teilflächenspezifische Düngung, welche wiederum das Potential zur Reduktion der Nitratbelastung im Grundwassers hat.Die beiden vorgeschlagenen Methoden zur Schätzung der Bodenbedeckung basieren auf einem sogenannten Entangled Random Forest sowie auf einem Convolutional Neural Network (CNN). Mithilfe von semantischer Segmentierung von RGB-Bildern ist es möglich, zwischen Boden, lebendem organischem Material, totem organischem Material und Steinen zu unterscheiden. Ein Stereokamera-Setup ermöglicht die Schätzung der Bodenrauheit in Echtzeit auf einer Kreiselegge. Die Methode zur Schätzung der Bodenbedeckung ermöglicht es Reststoffe wie Stroh während der Rauheitsschätzung zuerkennen und zu filtern. Das RGB-Stereokamera-Setup, das mit AI-Inference-Hardware ausgestattet ist, ist in der Lage, Grünlanderträge durch Messung der Pflanzenhöhe und Schätzung der Pflanzenzusammensetzung durch CNNs auf einem Mähwerk zu schätzen.Wird die Kamera auf einem Schwader montiert, werden Grünlandschwaden erkannt und vermessen. Das System eröffnet dadurch verschiedene neue Anwendungen in der Grünlandernte, von der Maschinensteuerung über die Ertragsschätzung bis hin zur Echtzeit-Maschinensteuerung und Logistik-Optimierung.Die Methoden zur Schätzung der Bodenbedeckung übertreffen den Stand der Technik und sind die Grundlage für eine zuverlässige Bodenrauheitsmessung. Die Methode zur Bodenrauheitsmessung wurde mit der Siebanalyse verglichen und für die Anwendung beider Aussat als ausreichend genau beurteilt. Darauf aufbauend wird die erste Methode zur Steuerung einer Bodenbearbeitungsmaschine in Echtzeit durch Bodenrauheitsmessung vorgestellt. Es wurde gezeigt, dass die Methode zur Steuerung einer Kreiselegge die Homogenität der Bodenrauheit innerhalb eines Feldes verbessert. Im Grünland werden neue Methoden zur Messung von Ertrag und Zusammensetzung direkt auf Grünlandgeräten wie Mäher und Schwader vorgeschlagen. Zusätzliche Sensoren (Radar,Laser und Ultraschall) wurden während des Mähens eingesetzt, um ihre Eignung fürdie Ertragsabschätzung zu untersuchen. Die Methoden im Grünland wurden mit Trockenmasse-Ertragsproben über drei Saisonen validiert.Alle vorgestellten Methoden wurden im Rahmen von umfangreichen Feldversuchen entwickelt und ermöglichen es dadurch, Umwelteinflüsse zu erforschen. Die Feldversuche wurden feld- und saisonübergreifend durchgeführt, um saisonale und regionale Verzerrungen zu untersuchen und zu reduzieren.