Image based level-of-detail construction for novel view synthesis : anti-aliased Gaussian splatting via scale-space optimisation

Abstract

This thesis presents a coarse-to-fine optimisation method for 3D Gaussian Splatting(3DGS) that constructs a Level of Detail (LoD) hierarchy during optimisation, which can be rendered selectively. By gradually adjusting the resolution, the method reduces computational effort, speeds up optimisation and generates a LoD hierarchy in the process.Based on the sampling rate, defined as the ratio of the resolution at which the model was optimised to that at which it is viewed, a selective rendering method is presented. Selective rendering reduces the number of primitives processed and mitigates aliasing errors, at the cost of increased memory usage on the Graphics Processing Unit (GPU) due to multiple independent LoD levels. The method is evaluated using 3DGS and Elliptical Weighted Average (EWA)-filtering as a basis for comparison on common 360◦ and aerialimage datasets, with a focus on low-resolution renderings and distant viewpoints.The results show that the method speeds up optimisation and reduces the number of processed primitives. Particularly for distant or low-resolution views, images are generated more quickly, and aliasing errors are reduced. At full resolution, the visual quality remains approximately the same as the baseline. Although the method requires additional GPU memory during rendering, it offers a practical approach to faster optimisation of more compact models that are rendered with reduced aliasing.

Diese Arbeit stellt ein Grob-zu-Fein-Optimierungsverfahren für 3D Gaussian Splatting (3DGS) vor, das während der Optimierung eine Level of Detail (LoD)-Hierarchie aufbaut, die selektiv dargestellt werden kann. Durch die schrittweise Anpassung der Auflösung reduziert das Verfahren den Rechenaufwand, beschleunigt die Optimierung und erzeugt dabei eine LoD-Hierarchie. Basierend auf der Abtastrate, definiert als das Verhältnis zwischen der Auflösung, bei der das Modell optimiert wurde, und der Auflösung, bei der es betrachtet wird, wird ein selektives Darstellungsverfahren vorgestellt. Die selektive Darstellung reduziert die Anzahl der verarbeiteten Primitiven und mindert Aliasing-Fehler, auf Kosten einer erhöhten Speichernutzung auf der Graphics Processing Unit (GPU) durch die Verwendung mehrerer unabhängiger LoD-Ebenen. Das Verfahren wird anhand von 3DGS- und Elliptical Weighted Average (EWA)-Filtering als Vergleichsbasis auf geläufigen 360◦ und Luftbild-Datensätzen bewertet, wobei der Schwerpunkt auf Darstellungen mit niedriger Auflösung sowie auf entfernten Betrachtungspunkten liegt. Die Ergebnisse zeigen, dass die Methode die Optimierung beschleunigt und die Anzahl der dargestellten Primitive reduziert. Insbesondere bei entfernten oder niedrigauflösenden Ansichten werden Bilder im Vergleich schneller generiert und Aliasing-Fehler nehmen ab. Bei voller Auflösung bleibt die visuelle Qualität annähernd gleich der Vergleichsbasis. Obwohl das Verfahren während der Darstellung zusätzlichen GPU-Speicher benötigt, bietet es einen praktischen Ansatz zur schnellen Optimierung kompakterer Modelle, die mit geringem Aliasing dargestellt werden.