Soil cover estimation in the field of agriculture using color and near infrared information

Abstract

In dieser Arbeit wird eine Methode zur Abschätzung der Bodenbedeckung in der Landwirtschaft vorgestellt, die auf semantischer Bildsegmentierung unter der Verwendung von Farb-, Near Infrared (NIR)- und Tiefeninformation basiert. Der Hauptvorteil dieses Ansatzes gegenüber Ansätzen mit monokularen Kamerasystemen besteht darin, die Genauigkeit des Segmentierungsprozesses zu steigern, indem zusätzliches Wissen über die grüne Vegetation durch die NIRBilder eingesetzt wird. Es wird gezeigt, dass die allgemeine Genauigkeit des Segmentierungsprozesses ausreicht, um die Bodenzusammensetzung für den praktischen Gebrauch, unter rauen Umgebungsbedingungen und der vielfältigen Zusammensetzung des Bodens, abzuschätzen. Die vorgestellte Methode wird mit Hilfe des F1-Genauigkeitsfaktors gegen den Ansatz des monokular Kamerasystems verglichen. Darüber hinaus kann gezeigt werden, dass der erweiterte Ansatz zu einem besseren F1-Genauigkeitswert von 5 für die Segmentierung der Rückstandsklasse führt. Zusätzlich wird die Implementierung einer Kamerabox zur autonomen Bilderfassung vorgestellt.

This thesis presents a method for soil cover estimation in the field of agriculture based on semantic image segmentation under the usage of color, Near Infrared (NIR) and depth information. The main advantage of this approach against approaches using monocular camera systems is to increase the performance of the segmentation process by applying additional knowledge about green vegetation through NIR images. It is shown that the general accuracy of the segmentation process is sufficient good to estimate the soil composition for practical usage under the constraint of the rough environmental conditions and soil composition diversity. The presented method is evaluated against the monocular camera system approach by using the F1 accuracy score. Further, it is shown that the extended estimation process leads to a better F1 accuracy score of 5 for the segmentation of the residues class. Additionally, the implementation of a camera box for autonomously image capturing is presented.