Sampling lattice field theories with score-based diffusion models

Abstract

Diffusionsmodelle sind die Basis moderner Bildgenerierungsmodelle. Wir verwenden sie zur Erzeugung von Feldkonfigurationen in Gitterfeldtheorien. Aufgrund der ähnlichen Datenstrukturen von digitalen Bildern und zweidimensionalen diskreten Feldern können generative Modelle, die ursprünglich für die Bildgenerierung entwickelt wurden, mit nur geringen Anpassungen für Gitterfeldtheorien verwendet werden. In dieser Arbeit fokussieren wir uns auf score-based generative diffusion models (score models), eine spezielle Art von Diffusionsmodellen. Hierbei wird die Score-Funktion von einem neuronalen Netzwerk gelernt.Nachdem wir uns kurz mit einem nulldimensionalen Beispielproblem beschäftigen, implementieren wir score models für die skalare φ4 Theorie und die reine U(1)-Eichtheorie. Die Qualität unserer trainierten Modelle, gemessen an der effektiven Stichprobengröße, ist für das skalare Problem nahezu ideal. Für die Eichtheorie erreichen wir nur bei schwacher Kopplung gute Resultate, je stärker die Kopplung ist, desto schlechter wird die Qualität unserer Modelle. Ein großer Vorteil von Diffusionsmodellen gegenüber Modellen, die auf Markovketten basieren, ist, dass sie prinzipiell Konfigurationen mit verschwindender Autokorrelation zwischen einzelnen Proben erzeugen können. Es zeigt sich auch, dass Konfigurationen deutlich schneller erstellt werden können als mit unserer Hybrid-Monte-Carlo Implementierung.Des Weiteren präsentieren wir eine Adaptierung der score models, das action model. Es basiert darauf, dass die Score-Funktion dem negativen Gradienten der Wirkung entspricht, womit wir dem neuronalen Netzwerk eine direkte physikalische Bedeutung geben können. Wir vergleichen diese beiden Modelle für das nulldimensionale Beispielproblem und für die skalare φ4 Theorie. Abschließend demonstrieren wir eine weitere physikalische Interpretation von Diffusionsmodellen, indem wir den Fluss der Carosso-Renormierungsgruppe mithilfe eines score models invertieren. Damit zeigen wir eine direkte Verbindung zwischen generativen Diffusionsmodellen und Renormierungsgruppen.

Diffusion models are state-of-the-art tools for machine-learning-based image generation. We apply them to lattice field theories to generate field configurations. Due to the similar data structures of digital images and two-dimensional discretized fields, generative models designed for image generation can be used for lattice field theories with only minor adaptions. In this work we focus on score-based generative diffu-sion models (score models), a particular type of diffusion models in which a neuralnetwork learns a quantity named ‘score’.After briefly reviewing a zero-dimensional toy model, we implement score models for scalar φ4 theory and U(1) pure gauge theory. We find that the quality of our trained models, measured by the effective sampling size, is almost perfect in the scalar case. For U(1), the quality is still good for weak coupling, but decreases with increasing coupling strength. A notable advantage of diffusion models over Markovchain-based methods is that they can, in principle, generate configurations with vanishing autocorrelation between samples. We also find the generative speed to be significantly faster compared to our implementation of the Hybrid Monte Carlo(HMC) method. Furthermore, we introduce the action model, an adaption of the score model. It uses the fact that the score corresponds to the negative gradient of the action, giving the trained neural network a direct physical meaning. Comparisons between both models are given for the zero-dimensional toy problem and scalar φ4 theory. To take the physical interpretation of diffusion models even further, we use a score model to reverse the Carosso renormalization group flow, showing a direct connection between score-based generative diffusion models and renormalization group theory.