Reinforcement Learning: Case studies in single pendulum control and timber crane grasping

Abstract

This thesis investigates the application of reinforcement learning (RL), a machine learning paradigm that learns from experience, to automate a specific task in timber harvesting - grasping a log with a grapple. RL's potential to learn optimal solutions without explicit models makes RL a promising method for forest machine automation. The thesis comprises three key chapters: an overview of the theoretical foundations of RL, an investigation of the application of RL to an inverted pendulum system on a cart, and a specific investigation of the automation of forestry cranes. In the first chapter, the general introduction to RL including popular approaches is presented. Then, the inverted pendulum on a cart system is used to test RL's capabilities and demonstrate RL's adaptability in different problem domains. The final chapter designs a learning-based control strategy for forestry cranes. It focuses on efficiently picking up a log of different diameters from a random initial configuration and aims to simplify the tasks for operators among the challenges posed by the forest environment.

Diese Arbeit befasst sich mit der Anwendung von bestärkendem Lernen (Englisch: Reinforcement Learning), einer Disziplin des maschinellen Lernens, die von Ehrfahrung lernt, in der Automatisierung der Holzernte - das Greifen eines Stammes mit einer Zange. Das Potential des bestärkenden Lernens, eine optimale Lösung zu generieren ohne ein explizites Modell zu verwenden, machen das bestärkende Lernen zu einer vielversprechenden Methode für die Automatisierung von Holzerntemaschinen. Die Arbeit ist in drei Kapitel aufgeteilt: ein Überblick der theoretischen Grundlagen des bestärkenden Lernens, eine Untersuchung der Anwendung des bestärkenden Lernens auf ein inverses Pendel auf einem Wagen und der Untersuchung der Automatisierung eines Forstkrans. Im ersten Kapitel wird das Problem des bestärkenden Lernens formal beschrieben und Algorithmen zu dessen Lösung präsentiert. Das inverse Pendel-Wagen system wird verwendet um die Fähigkeiten des bestärkenden Lernens auszutesten und die Anpassungsmöglichkeiten an unterschiedliche Arten von Problemen zu demonstrieren. Das finale Kapitel handelt vom Design einer Regelungsstrategie für Forstkräne. Der Fokus liegt dabei auf dem effizienten Aufsammeln von Baumstämmen mit unterschiedlichen Durchmessern und aus zufälligen Positionen und zielt darauf ab, die Aufgaben der Maschinisten im Wald zu vereinfachen.