Image-space metaballs using deep learning

Abstract

Metaballs sind eine Klasse von impliziten Flächen die verwendet werden um organisch aussehende Formen und Flüssigkeiten zu modellieren. Exakte Darstellung von drei-dimensionalen Metaballs wird typischerweise durch Ray-casting erzielt, das jedoch rechenaufwendig ist und nicht für Echtzeitanwendungen geeignet ist. Deshalb wurden verschiedene annähernde Rendering Methoden entwickelt. In dieser Arbeit werden die Grundlagen von Metaballs und Neuralen Netzwerken behandelt, und ein neuer Ansatz um Metaballs durch Deep Learning zu rendern der performant genug für Echtzeitanwendungen ist präsentiert. Dieses System verwendet einen Bild-zu-Bild-Übersetzungs Ansatz. Dafür werden die Metaballs zuerst in einer stark vereinfachten Form in ein Bild gerendert. Dieses Bild dient danach als Input für ein Neurales Netzwerk das Tiefe, Normalen, und Grundfarben-Puffer als Output produziert die anschließend mit einem deferred shading Renderer in ein finales Bild kombiniert werden können.

Metaballs are a type of implicit surface that are used to model organic-looking shapes and fluids. Accurate rendering of three-dimensional metaballs is typically done using ray-casting, which is computationally expensive and not suitable for real-time applications, therefore different approximate methods for rendering metaballs have been developed. In this thesis, the foundations of metaballs and neural networks are discussed, and a new approach to rendering metaballs using Deep Learning that is fast enough for use in real-time applications is presented. The system uses an image-to-image translation approach. For that, first the metaballs are rendered using a very simplified representation to an image. This image is then used as input to a neural network that outputs a depth, normal and base color buffer that can be combined using a deferred shading renderer to produce a final image.