Entwicklung und Inbetriebnahme einer Testumgebung für eine Pumpturbinenmodellmaschine zur Untersuchung von Reinforcement-Learning basierten Steuerungsstrategien

Abstract

Im Rahmen des Projekts „RELY - Reliable reinforcement learning for sustainable energy systems“ sollen in Hinblick auf aktuelle Anforderungen an die Wasserkraft Steuerungsstrategien eines Reinforcement Learning Algorithmus an einer Pumpturbinenmodellmaschine untersucht werden. Ziel ist, eine zuverlässige und sichere Testumgebung zu entwickeln, die einen Anfahrprozess im Pumpbetrieb ermöglicht, wobei die Anlage von dem Reinforcement Learning Algorithmus gesteuert wird. Ein umfassender Risikomanagementprozess legt den Grundstein zur Einschränkung potentieller Gefährdungen. Änderungen an betroffenen Komponenten, steuerungstechnische Sicherheitsvorkehrungen sowie die experimentelle Beurteilung identifizierter Gefahren stellen ergriffene Maßnahmen dar und führen zu einer ausreichenden Risikominimierung. Ein abschließender Pumpenstart, jedoch ohne Steuerung durch den entwickelten Reinforcement Learning Algorithmus, bildet das reale Anlagenverhalten ab. Es lassen sich deutliche Verzögerung in der Kommunikation sowie eine Systemträgheit erkennen. Die Ergebnisse dieser Messung können einerseits in einem bestehenden Simulationsmodell berücksichtigt werden und stellen andererseits eine wesentliche Vergleichsgrundlage für zukünftige Forschungsergebnisse dar. Diese Arbeit legt mit ihrer Vorgehensweise und mit den daraus resultierenden Informationen den Grundstein für die Implementierung eines Reinforcement Learning Algorithmus an einer Pumpturbinenmodellmaschine.

Within the framework of the project “RELY – reliable reinforcement learning for sustainable energy systems”, control strategies of a reinforcement learning algorithm are investigated on a pump-turbine model machine with respect to current requirements for hydropower. The objective is to develop a reliable and safe test environment that enables a pump start process, in which the plant is controlled by the reinforcement learning algorithm. A comprehensive risk management process lays the foundation for limiting potential hazards. Modifications to affected components, control-related safety measures, and experimental assessment of identified hazards constitute the measures taken and lead to sufficient risk mitigation. A final pump start, however, without control by the developed reinforcement learning algorithm, represents the real plant behavior. Noticeable communication delays and system inertia can be observed. The results of this measurement can both be incorporated into an existing simulation model and serve as an essential reference for future research outcomes. Through its methodology and the resulting information, this work establishes the foundation for the implementation of a reinforcement learning algorithm on a pump-turbine model machine.