Simulative optimization of energy communities based on reinforcement learning

Abstract

Energy generation still produces CO2 and pushes the climate crisis. By grouping energy consumers and prosumers into energy communities, these can share energy within the community and help to reduce emissions. Due to weather conditions, fluctuations in generation of renewable energy are natural. There are certain flexibilities of renewable energy source like reducing the photovoltaic plants production and controlling the consumption of heat pumps within a specific range. Along with energy storage systems these flexibilities can be used to optimize the energy community. There are various objectives for an optimization, but in this work the main goals are to minimize the total grid load on the transformer and to smooth the load peaks. Within the scope of a project the optimization was implemented as a mixed integer linear approach. This work tackles the aim of using a deep reinforcement learning method to optimize energy communities. The method should learn to determine the flexibilities of photovoltaic plants, heat pumps and batteries to archive the main optimization goals. On top of a base implementation of the reinforcement learning optimization, various improvements are done. Thereinforcement learning optimization contains two important components, environment and agent. The experiments are based on each other, and modifi cations are implemented in environment and agent of the optimization. The results of the experiments are showing an enhancement of the reinforcement learning optimization. To achieve a comparable optimization to the linear one, further modificationsand a change of training data are necessary. However, this thesis presents a working concept for the use of deep reinforcement learning in the context of optimization in energy communities.

Die Erzeugung von Energie produziert noch immer CO2 Emissionen und treibt damit die Klimakrise weiter an. Verbraucher und Prosumer können in Energiegemeinschaften gruppiert werden. In den Energiegemeinschaften kann die produzierte Energie verteilt werden und damit zu einer Emissionsreduktion beitragen. Schwankungen in der Produktion von erneuerbaren Strom treten aufgrund von Wetterbedingungen natürlich auf. Es gibt gewisse Flexiblititäten bei erneuerbaren Energiequellen, wie die Verringerung der Produktion durch Photovoltaik Anlagen oder die Kontrolle des Verbrauchs von Wärmepumpen in einem vorgegebenen Bereich. Zusammen mit Energiespeichern können diese Flexibilitäten genutzt werden um die Energiegemeinschaften zu optimieren. Für die Optimierung gibt es verschiedene Ziele. In dieser Arbeit sind die Hauptziele die Minimierung der Netzleistung am Transformator und die Glättung von Lastspitzen. Im Rahmen eines Projektes wurde die Optimierung als gemischt-ganzzahliger linearer Ansatz umgesetzt. Das Ziel dieser Arbeit ist die Optimierung der Energiegemeinschaften mit einer Deep Reinforcement Learning Methode. Die Flexibilitäten von Photovoltaik Anlagen, Wärmepumpen und Batterien sollen von der Methode bestimmt werden um die Hauptziele der Optimierung zu erreichen. Ausgehend von einer Basisimplementation der Reinforcement Learning Optimierung werden verschiedene Verbesserungen vorgenommen. Die Reinforcement Learning Optimierung besteht aus zwei wichtigen Bestandteilen, der Environment und dem Agent. Die Experimente bauen aufeinander auf und Modifikationen sind in Environment und Agent implementiert. Die Ergebnisse der Experimente zeigen eine Verbesserung der Reinforcement Learning Optimization. Damit eine vergleichbare Optimierung zur linearen Optimierung erreicht werden kann, sind weitere Modifikationen und ein Wechsel der Trainingsdaten nötig. Jedoch stellt diese Arbeit ein funktionierendes Konzept für den Einsatz von Deep Reinforcement Learning im Kontext der Optimierung von Energiegemeinschaften vor.