Crop rotation optimization for organic farming systems by combining model-based reinforcement learning methods with symbolic planning

Abstract

In modern farming, cultivating a sequence of varying crops on a plot of land is the standard for many farmers. This behaviour leads to better soil conditions, avoids pest and weed occurrence and increases crop yields if done correctly. Since many years, researchers have tried to convert the intuitional knowledge of farmers and the current state-of-the-art of agronomy into rule systems and models that can generate optimal crop rotation sequences for fields around the world. Rule-based approaches often focus on creating sequences not violating any agronomical or crop rotation rules, mathematical models additionally consider average yields and market conditions to optimize for profit. Recent advances in applying Reinforcement Learning to this problem domain demonstrated promising results. Due to the ability of the agents to learn iteratively from environments, optimal crop cultivation sequences could be obtained for complex multi-year simulation conditions which could match cultivation plans that were already in use. A major downside was however the agents’ need for several thousand episodes of training to converge to a stable and optimal performance. To address this issue, this thesis project extends the proposed Reinforcement Learning approach to improve the sample efficiency of the agents significantly. Additionally, the agents should be able to deal with exogenous uncertainty like yield fluctuations and price and cost variability. Even in the untrained state, the agents should not make worse decisions than experienced farmers in order to achieve acceptance in the use of the agents in decision support systems before they have been able to adapt to the respective environment. The implemented solution was trained and evaluated on a simulation environment built to encompass the most relevant exogenous conditions affecting crop yield and farming profit. The results from the evaluation demonstrate that it is possible to construct RL agents with a high sample efficiency which can be deployed in decision support systems for farmers. By using a Soft Actor-Critic learning algorithm, combining it with a symbolic planner to restrict the crop selection to viable choices and stabilizing early training with knowledge from other crop rotation experiments, the agent shows steady performance improvements with a low risk for farmers to receive recommendations for unsuitable crops on their fields. This result fortifies the position of Reinforcement Learning as a viable option to address the problem of crop rotation optimization and opens new paths for future research.

In der modernen Landwirtschaft ist die Kultivierung einer Fruchtfolge verschiedener Pflanzen auf einem Feld für viele Landwirte der Standard. Richtig angewandt fördert dieses Vorgehen nicht nur günstige Bodenbedingungen, sondern vermeidet auch das Auftreten von Schädlingen und Unkraut und steigert die Ernteerträge. Über viele Jahre hinweg haben Forschende versucht, das intuitive Wissen der Landwirte und den aktuellen Stand der Agronomie in Regelwerke und Modelle zu überführen, um optimale Abfolgen für die Fruchtfolge weltweit generieren zu können. Während regelbasierte Ansätze darauf abzielten, Sequenzen zu schaffen, die keine Fruchtfolgeregeln verletzen, berücksichtigten mathematische Modelle zusätzlich Durchschnittserträge und Marktbedingungen zur Gewinnoptimierung. In jüngster Zeit haben Fortschritte in der Anwendung von Reinforcement Learning (RL) auf dieses Problemfeld vielversprechende Ergebnisse erzielt. Dank der Fähigkeit der Modelle, iterativ von ihrer Umgebung zu lernen, konnten für komplexe mehrjährige Simulationsbedingungen optimale Fruchtfolgen gefunden werden, welche mit bereits verwendeten Anbauplänen übereinstimmten. Ein wesentlicher Nachteil bestand jedoch darin, dass die Agenten mehrere tausend Trainingsepisoden benötigten, um zu einer stabilen und optimalen Leistung zu konvergieren. Um dieses Problem zu lösen, erweitert dieses Projekt den vorgeschlagenen RL-Ansatz, um die Effizienz der Agenten erheblich zu verbessern. Darüber hinaus sollen die Modelle in der Lage sein, mit exogener Unsicherheit wie variierenden Erträgen und Marktbedingungen umzugehen. Auch im untrainierten Zustand sollten von den Agenten keine schlechteren Entscheidungen getroffen werden als von erfahrenen Landwirten, um eine Akzeptanz bei der Nutzung der Agenten in Entscheidungsunterstützungssystemen zu erreichen. Die implementierte Lösung wurde in einer Simulationsumgebung trainiert und evaluiert. Die Simulation wurde mit Fokus darauf erstellt, die relevantesten exogenen Effekte auf Ernteertrag und Gewinn abzubilden. Die Ergebnisse zeigen, dass es möglich ist, RL-Agenten mit hoher Proben-Effizienz zu konstruieren, die in Entscheidungsunterstützungssystemen für Landwirte eingesetzt werden können. Durch die Verwendung eines Soft Actor-Critic-Lernalgorithmus, die Kombination mit einem symbolischen Planer zur Beschränkung der Pflanzenauswahl auf passende Optionen und die Stabilisierung der frühen Trainingsphasen mit Wissen aus anderen Fruchtfolge-Experimenten zeigt der Agent stetige Leistungsverbesserungen bei geringem Risiko für den Landwirt, ungeeignete Pflanzen empfohlen zu bekommen. Dieses Ergebnis stärkt die Position von Reinforcement Learning als eine sinnvolle Option im Bereich der Fruchtfolge-Optimierung und eröffnet neue Wege für zukünftige Forschung.