Fuzzy clustering: an application to distributional reinforcement learning

Abstract

Die meisten Reinforcement Learning-Algorithmen werden mit der Einschränkung eines diskreten (endlichen) Zustandsraums untersucht. Kompliziertere Zustandsräume werden normalerweise durch Funktionsnäherung behandelt, für die nur wenige theoretische Ergebnisse verfügbar sind. In dieser Arbeit wird eine clusterbasierte Näherung für kontinuierliche Zustandsräume untersucht. Die stückweise konstante Näherung, die durch (klassisches) hartes Clustering erhalten wird, wird empirisch unter Verwendung von Fuzzy-Menge und Zugehörigkeitsfunktionen verbessert. Wir untersuchen auch, wie das Clustering selbst mithilfe von Zugehörigkeitsfunktionen automatisiert werden kann, die auf das bekannte MNIST-Problem angewendet werden.

Most Reinforcement Learning algorithms are studied with the restriction of a discrete (finite) state space. More complicated state spaces are usually handled through function approximation, for which few theoretical results are available. In this paper, a clustering-based approximation for continuous state spaces is studied. The piecewise constant approximation obtained by (classical) hard clustering is enhanced empirically using fuzzy membership functions. We also look at how the clustering itself could be automated, using membership functions applied to the well-known MNIST digit-recognition problem.