Realistic rendering in mobile augmented reality

Abstract

Augmented Reality (AR)-Applikationen kombinieren eine Sicht auf eine Echtweltumgebung mit computergenerierten Objekten in Echtzeit. Je nach AR-Applikation ist es wünschenswert, die visuelle Kohärenz der computergenerierten Bilder zu den Bildern aus der echten Welt zu maximieren. Um dies zu erreichen, müssen die virtuellen Objekte so realistisch wie möglich gerendert werden. In dieser Diplomarbeit wird eine bildbasierte Beleuchtungsmethode (image-based lighting (IBL)) präsentiert, um virtuelle Objekte auf mobilen Geräten mit Beleuchtungsinformationen aus der echten Welt realistisch zu rendern. Die präsentierte Technik nutzt im ersten Schritt die Kamera und die Bewegungssensoren eines mobilen Gerätes, um ein omnidirektionales Bild der Umgebung mit hohem Dynamikumfang (high dynamic range (HDR)) aufzunehmen und in einer Environment-Map zu speichern. Im zweiten Schritt wird diese aufgenommene Environment-Map für das Rendering mit unterschiedlichen Materialien vorbereitet, indem mehrere Varianten der ursprünglichen Environment-Map berechnet werden, die je nach Material zum Rendern ausgewählt werden. Die Map, welche diffuse Beleuchtungsinformationen beinhaltet, heißt Irradiance-Map und die Maps, die spiegelnde oder glänzende Beleuchtungsinformationen beinhalten, werden Reflection-Maps genannt. Die Berechnung dieser Maps entspricht einer gewichteten Faltung nach einem bestimmten Beleuchtungsmodell, wobei die korrekte Menge an einfallendem Licht aus allen Richtungen in die Berechnungen miteinbezogen wird. Wie diese Berechnungen effizient auf mobilen Geräten durchgeführt werden können ist der Hauptbeitrag dieser Diplomarbeit. Es werden mehrere Herangehensweisen zur Durchführung dieser Berechnungen präsentiert, deren Eigenschaften, Resultate, Stärken und Schwächen werden analysiert sowie Optimierungen beschrieben. Wir beschreiben drei verschiedene Methoden zur Berechnung der Irradiance- und Reflection Maps und beschreiben diese detailiert: Die akkurate Berechnung, eine MIP-Mapping basierte Approximation, sowie eine Berechnung im Frequenzbereich basierend auf Spherical Harmonics (SH). Wir beschreiben detailiert die Implementierungen, präsentieren Analysen und diskutieren jede dieser drei Methoden hinsichtlich ihrer Eigenschaften und Beschränkungen im Hinblick auf mobile Geräte. Des Weiteren wird beschrieben, wie die berechneten Maps in IBL-Rendering genutzt und mit gängigen Echtzeit-Renderingeffekten kombiniert werden können, um eine hohe visuelle Kohärenz von virtuellen Objekten in AR-Szenen zu erreichen. Das wichtigste Novum dieser Diplomarbeit ist der Fokus auf die Möglichkeiten von mobilen Geräten und die Eigenschaft, dass alle Schritte auf einem einzigen handelsüblichen mobilen Gerät durchgeführt werden können: vom Aufnehmen der Environment-Map an einem bestimmten Punkt im Raum, über die Berechnung der Irradiance- und Reflection-Maps, bis hin zum Rendern der virtuellen Objekte mit den berechneten Maps in einer AR-Szene.

Augmented Reality (AR) applications combine a view of a physical, real-world environment with computer-generated objects and effects in real-time. Depending on the application, it is desirable to maximize the visual coherence of the virtual objects compared to the real-world image. To achieve this goal, virtual objects have to be rendered as realistically as possible. This thesis presents an image-based lighting (IBL) technique for realistic rendering of virtual objects on mobile devices which uses lighting information from the real-world environment. In the first step, the presented technique uses a mobile device's camera and motion sensors to capture an omni-directional image of the surrounding in high dynamic range (HDR) and stores it in an environment map. In the second step, the captured environment map is prepared for rendering with different materials by calculating a set of maps. During rendering, the most suitable of these maps are selected for each material and used for shading a virtual object with the specific material. The map which contains diffuse illumination information is called irradiance map, and the maps which contain glossy or specular illumination information are called reflection maps. The calculation of the maps corresponds to a weighted convolution. The weighting is determined by a reflection model which takes the correct amount of incident lighting from all directions into account. How these calculations can be performed efficiently on mobile devices is the main focus of this thesis. Multiple approaches to perform the calculations are described. Their properties, results, strengths and weaknesses are analyzed and optimizations are proposed. We describe three different approaches for the calculation of irradiance and reflection maps in this thesis: the accurate calculation, a MIP-mapping based approximation method, and calculation via spherical harmonics (SH) frequency space. We provide detailed implementation instructions, analyses, and discussions for each of these approaches with regard to the properties and limitations of mobile devices. Furthermore, we describe how the calculated maps can be used with IBL rendering and be combined with established rendering techniques to achieve a high degree of visual coherence of virtual objects in AR scenes. The main novelty of this thesis is its focus on the capabilities of mobile devices. We describe how to do all steps on a single commodity mobile device: From capturing the environment at a certain point in space, to calculating the irradiance and reflection maps, and finally rendering virtual objects using the calculated maps in an AR scene.