Real-time rendering with JPEG-compressed textures

Abstract

Although variable-rate compressed image formats such as JPEG are widely used to efficiently encode images, they have not found their way into real-time rendering due to special requirements such as random access to individual texels. In this thesis, we investigate the feasibility of variable-rate texture compression on modern GPUs using the JPEG format, and how it compares to the GPU-friendly fixed-rate compression approaches BC1 and ASTC.Using a deferred rendering pipeline and a list of pointers to individually encoded JPEG blocks, we are able to identify the subset of blocks that are needed for a given frame, decode these, and colourise the framebuffer’s pixels. Despite the additional 0.5 bit per texel that we require for our approach, JPEG maintains significantly better quality and compression rates compared to BC1, and is able to compete with ASTC. Although we can not fully compete performance-wise, decoding the required texels of a JPEG texture requires less than 1ms per frame on an RTX 4090, thus demonstrating that variable-rate encoded image formats are feasible for rendering pipelines that are based on deferred rendering or visibility buffers

Obwohl mit variabler Bitrate komprimierte Bildformate wie JPEG weit verbreitet sind und eine effiziente Komprimierung ermöglichen, spielen sie im Bereich des Echtzeit- Renderings bislang kaum eine Rolle. Der Hauptgrund dafür sind spezielle Anforderungen wie direkter Zugriff auf einzelne Texel. In dieser Arbeit untersuchen wir, ob und wie sich JPEG als Format für Texture Kompression mit variabler Bitrate auf modernen GPUs einsetzen lässt – und wie es im Vergleich zu etablierten, GPU-optimierten Verfahren mit konstanter Bitrate wie BC1 und ASTC abschneidet. Unser Ansatz basiert auf einer Deferred-Rendering-Pipeline und einer Pointer-Liste auf separat kodierten JPEG-Blöcke. So können wir gezielt nur die Blöcke identifizieren und dekodieren, die für das aktuelle Frame tatsächlich benötigt werden – und anschließend die entsprechenden Pixel im Framebuffer einfärben. Trotz eines Overheads von ca. 0,5 Bit pro Texel liefert JPEG deutlich bessere Qualität und Kompressionsraten als BC1 und kann sogar mit ASTC mithalten. Beim Dekodieren der Textur erreichen wir zwar nicht ganz das Niveau von klassischen GPU-Codecs, brauchen aber auf einer RTX 4090 trotzdem weniger als eine Millisekunde pro Frame. Damit zeigen wir, dass mit variabler Bitrate kodierte Formate auch im Kontext von Deferred Rendering oder Visibility Buffers durchaus praktikabel sind