Can't get you out of my head : memorization in diffusion models

Abstract

Diffusion models have become the central approach for image generation, producing highly realistic results but raising concerns about memorization, the phenomenon where a model replicates parts of its training data instead of generating genuinely novel content. This thesis investigates memorization in Denoising Diffusion Probabilistic Models (DDPMs) to understand when it occurs, how it can be detected, and which data properties influence it. Models were fine-tuned on datasets of varying size and complexity to analyze how dataset characteristics and training progression affect replication behavior. A range of detection methods was examined, from distance-based nearest-neighbor metrics and non-parametric data-copying tests to diffusion-specific indicators derived from inference dynamics. The findings show that common evaluation metrics such as Fréchet Inception Distance and Inception Score fail to reflect it. In contrast, diffusion-specific measures, such as the magnitude of denoising updates and the seeded convergence test, proved more effective for identifying memorization patterns. Finally, the analysis shows that outlier images are most prone to memorization, linking data uniqueness to privacy risk. Introducing additional outliers reduces these effects, suggesting that model capacity can be strategically occupied to limit memorization. Overall, this work provides a systematic study of memorization in diffusion models, offering insights into its mechanisms, evaluation, and implications for model generalization.

Diffusionsmodelle haben sich als zentrale Methode der Bildsynthese etabliert. Sie erzeugen hochrealistische Ergebnisse, werfen jedoch auch Bedenken hinsichtlich der Memorization auf – also des Phänomens, bei dem ein Modell Teile seiner Trainingsdaten repliziert, anstatt genuin neue Inhalte zu generieren. Diese Arbeit untersucht die Memorization in Denoising Diffusion Probabilistic Models (DDPMs), um zu verstehen, wann sie auftritt, wie sie erkannt werden kann und welche Dateneigenschaften sie beeinflussen. Zu diesem Zweck wurden Modelle auf Datensätzen unterschiedlicher Größe und Komplexität feinabgestimmt, um zu analysieren, wie Datensatzcharakteristika und der Trainingsfortschritt das Replikationsverhalten beeinflussen. Es wurde eine Reihe von Erkennungsmethoden untersucht – von abstandsbasierten Nearest-Neighbor-Metriken und nichtparametrischen Data-Copying-Tests bis hin zu diffusionsspezifischen Indikatoren, die aus den Inferenzdynamiken abgeleitet werden. Die Ergebnisse zeigen, dass gängige Evaluationsmetriken wie Fréchet Inception Distance und Inception Score diese Effekte nicht erfassen. Im Gegensatz dazu erwiesen sich diffusionsspezifische Maße, etwa die Größe der Denoising-Aktualisierungen und der gepaarte Seed-Test, als deutlich aussagekräftiger zur Identifikation von Memorisation. Darüber hinaus zeigt die Analyse, dass Ausreißerbilder besonders anfällig für Replikation sind, wodurch der Zusammenhang zwischen Dateneinzigartigkeit und Privatsphäre verdeutlicht wird. Das Einführen zusätzlicher Ausreißer verringert diesen Effekt und deutet darauf hin, dass die Modellkapazität gezielt genutzt werden kann, um Memorisation zu begrenzen. Insgesamt liefert diese Arbeit eine systematische Untersuchung der Memorisation in Diffusionsmodellen und bietet Einblicke in ihre Mechanismen, ihre Bewertung sowie ihre Bedeutung für die Generalisierung solcher Modelle.