A Hybrid Quantum-Classical Framework for Reinforcement Learning of Atari Games

Abstract

Quantum Machine Learning (QML) ist ein vielversprechendes Anwendungsgebiet für aktuelle Quantencomputer, wobei hybride quantenmechanisch-klassische Modelle, basierend auf parametrisierten Quantenschaltkreisen (PQCs), als erfolgversprechende Algorithmen gelten. Jüngste Fortschritte im Bereich des Quantum Reinforcement Learning (QRL) haben das Potenzial von PQCs als Alternative zu klassischen Deep-Learning Modellen demonstriert. Während diese Studien das Potential von PQCs in standardisierten Benchmarking-Aufgaben aus dem OpenAI Gym gezeigt haben, ist noch ungeklärt, inwieweit QRL-Techniken basierend auf PQCs erfolgreich bei komplexeren Problemen mit hochdimensionalen Zustandsräumen angewendet werden können. Diese Arbeit präsentiert einen hybriden quantenmechanisch-klassischen Ansatz, der einen PQC mit klassischen neuronalen Netzwerken zur Merkmalskodierung und zum Postprocessing kombiniert. Das resultierende Modell wird im Rahmen von approximativem Q-Learning trainiert und evaluiert, wobei eine umfassende Hyperparametersuche durchgeführt wird. Zwei repräsentative Spielumgebungen, Atari Pong und Breakout, dienen dazu, die Leistung des hybriden Modells zu bewerten. Ein klassisches Modell, das ähnlichen architektonischen Einschränkungen wie das hybride Modell unterliegt, wird als Referenz konstruiert. Die Ergebnisse dieser Studie zeigen, dass das entwickelte hybride Modell die Pong-Umgebung erfolgreich lösen kann und bei Breakout vergleichbare Ergebnisse wie die klassische Referenz erzielt. Darüber hinaus zeigen die Ergebnisse wichtige Hyperparameter-Einstellungen und Designentscheidungen auf, die die Interaktion zwischen quantenmechanischen- und klassischen Komponenten beeinflussen. Diese Arbeit trägt zum Verständnis hybrider quantenmechanisch-klassischer Modelle bei und stellt einen ersten Schritt in Richtung ihrer Anwendung in realen RL-Szenarien dar.

Quantum machine learning (QML) is a promising area of application for near-term quantum computing devices, with hybrid quantum-classical models based on parameterized quantum circuits (PQCs) as prominent candidate algorithms. Recent advances in quantum reinforcement learning (QRL) have demonstrated the potential of PQCs as an alternative to classical deep learning models. While these studies have shown the performance of PQCs on standard benchmarking tasks from the OpenAI Gym, it remains an interesting open question to what extent QRL techniques based on PQCs can be successfully applied to more complex problems exhibiting higher-dimensional state spaces. This work presents a hybrid quantum-classical framework that combines a PQC with classical feature encoding and post-processing layers. The resulting model is trained and evaluated in an approximate Q-learning setting and a comprehensive hyperparameter search is performed. Two representative game environments, Atari Pong and Breakout, are selected to assess the performance of the hybrid model. A classical model, subjected to architectural restrictions similar to those present in the hybrid model, is constructed to serve as a reference. The results of this study demonstrate that the proposed hybrid model is capable of solving the Pong environment and achieves scores comparable to the classical reference in Breakout. Furthermore, the findings shed light on important hyperparameter settings and design choices that impact the interplay of quantum and classical components. This work contributes to the understanding of hybrid quantum-classical models and provides a first step towards their deployment in real-world RL scenarios.