Gaussians on a budget : surveying subjective and objective indicators for Gaussian splatting heuristics

Abstract

Novel View Synthesis (NVS) is an active field of research with the aim of generating unseen views of a scene given a limited set of initial images. There are a number of different approaches for tackling this problem. The relatively novel approach of 3D Gaussian Splatting (GS) has garnered immense interest as of late. Its popularity stems from the fact that it combines visual fidelity with great real-time rendering performance. The problem is that the heuristic solution that creates the GS models relies on very large models in order to accurately approximate the scene geometry. The aim of this work is to identify and compare approaches, which focus on creating compact GS models. Six existing methods were extended with a capping strategy that allows for improvements even under strict size constraints. A comparative evaluation of the six optimization techniques and the original procedure was conducted. The evaluation combines subjective user-study results with objective quality metrics and an analysis of model behavior during training. Three of the seven tested approaches significantly outperform the baseline under constrained conditions. Based on quantitative and qualitative indicators 3D Gaussian Splatting as Markov Chain Monte Carlo (3DGS MCMC) by Kheradmand et al. [KRS+24] yields models with the least errors and best detail resolution under strict size constraints. A joint analysis of subjective and objective measures was conducted. It indicates that objective measures tend to correspond to perceived quality only when dataset camera paths are aligned with views experienced by study participants.

Novel View Synthesis (NVS) ist ein reges Forschungsfeld mit dem Ziel, ungesehene Bilder einer Szene aus einer begrenzten Anzahl von Ursprungsbildern zu generieren. Dazu gibt es verschiedene Ansätze. Die relativ neue Methode des 3D Gaussian Splatting (GS) ist ein besonders vielversprechender Lösungsansatz, der visuelle Qualität mit schnellem Rendering kombiniert. Ein Problem besteht darin, dass die Heuristik, welche GS-Modelle erstellt, stark von der Modellgröße abhängig ist, um die geometrische Beschaffenheit der Szene originalgetreu einzufangen. Diese Arbeit untersucht GS-Optimierungsverfahren, um kompaktere Modelle zu erstellen. Es werden sechs bestehende Optimierungsverfahren erweitert, indem eine Begrenzungsstrategie eingeführt wird, die strikte Größenbeschränkungen erlaubt. Eine Evaluation der sechs Methoden sowie des ursprünglichen Verfahrens wurde durchgeführt. Subjektive und objektive Qualitätsmetriken sowie Verhaltensindikatoren während des Trainings werden analysiert. Drei der sieben getesteten Methoden führen zu signifikant verbesserten Ergebnissen im Vergleich zum Ursprungsverfahren. Quantitative und qualitative Indikatoren zeigen, dass 3D Gaussian Splatting as Markov Chain Monte Carlo (3DGS MCMC) von Kheradmand et al. Modelle mit minimalen Fehlern und hohem Detailgrad erstellt, selbst unter starker Beschränkung der Modellgröße. Eine gemeinsame Analyse subjektiver und objektiver Qualitätsmetriken zeigt zudem, dass objektive Metriken nur dann mit der wahrgenommenen Qualität übereinstimmen, wenn die Kamerapfade des Datensatzes mit den Kameraperspektiven der Studienteilnehmenden übereinstimmen.