Reciprocal shading for mixed reality

Abstract

Reziproke Schattierung für erweiterte Realitäten zielt darauf ab, virtuelle Objekte so in eine reale Umgebung zu integrieren, dass diese im Idealfall nicht von realen Objekten zu unterscheiden sind. Deshalb ist reziproke Schattierung für erweiterte Realitäten eine attraktive Technologie für Architekturvisualisierungen, Produktvisualisierungen oder für Kulturstätten, bei denen virtuelle Objekte nahtlos in die reale Umgebung eingebettet werden sollen. Aufgrund der erhöhten Leistung heutiger Graphikhardware sind nun auch globale Beleuchtungsmethoden für Echtzeitanwendungen möglich, wodurch das wissenschaftliche Interesse an realistischen Darstellungen für erweiterte Realitäten gestiegen ist. Das Ziel dieser Dissertation ist es die visuelle Plausibilität virtueller Objekte für Anwendungen im Bereich der erweiterten Realität zu erhöhen. Folgende Beiträge werden in dieser Arbeit präsentiert: Der erste Abschnitt widmet sich fünf Methoden, die zum Ziel haben die reale Umgebung zu rekonstruieren. Zwei dieser Methoden befassen sich mit der Rekonstruierung der realen Geometrie, eine weitere Methode dient der Schätzung von Materialeigenschaften bei Beibehaltung interaktiver Bildraten. Die verbleibenden beiden Methoden rekonstruieren das Farbabbildungsverhalten der Kamera, über deren Bilder die virtuellen Objekte eingeblendet werden. Der zweite Abschnitt beschreibt zwei Methoden, um die visuelle Plausibilität virtueller Objekte zu verbessern. Die erste Methode nennt sich "differential instant radiosity", welche "differential rendering" und die globale Beleuchtungsmethode "instant radiosity" kombiniert, um reziprokale Schattierungseffekte, wie Schatten und indirekte Beleuchtung zwischen realen und virtuellen Objekten zu simulieren. Die zweite Methode beschäftigt sich mit der visuell plausiblen Darstellung reflektierender und refraktierender Objekte. Die bei solchen Objekten entstehenden hochfrequenten Lichteffekte werden mit dieser Methode ebenfalls simuliert. Der dritte Teil der Dissertation präsentiert zwei Benutzerstudien, welche den Einfluss verschiedener Rendering-Methoden messen. Die erste Studie untersuchte den Einfluss der Rendering-Methoden auf die Dauer mit der verschiedene Aufgabenstellungen von Testpersonen erledigt wurden. Die zweite Studie wurde in Form einer Internetumfrage gestaltet bei der Teilnehmer beurteilten, welche von zwei vorgelegten erweiterten Realitätsbildern, sie subjektiv bevorzugen.

Reciprocal shading for mixed reality aims to integrate virtual objects into real environments in a way that they are in the ideal case indistinguishable from real objects. It is therefore an attractive technology for architectural visualizations, product visualizations and for cultural heritage sites, where virtual objects should be seamlessly merged with real ones. Due to the improved performance of recent graphics hardware, real-time global illumination algorithms are feasible for mixed-reality applications, and thus more and more researchers address realistic rendering for mixed reality. The goal of this thesis is to provide algorithms which improve the visual plausibility of virtual objects in mixed-reality applications. Our contributions are as follows: First, we present five methods to reconstruct the real surrounding environment. In particular, we present two methods for geometry reconstruction, a method for material estimation at interactive frame rates and two methods to reconstruct the color mapping characteristics of the video see-through camera. Second, we present two methods to improve the visual appearance of virtual objects. The first, called differential instant radiosity, combines differential rendering with a global illumination method called instant radiosity to simulate reciprocal shading effects such as shadowing and indirect illumination between real and virtual objects. The second method focuses on the visual plausible rendering of reflective and refractive objects. The high-frequency lighting effects caused by these objects are also simulated with our method. The third part of this thesis presents two user studies which evaluate the influence of the presented rendering methods on human perception. The first user study measured task performance with respect to the rendering mode, and the second user study was set up as a web survey where participants had to choose which of two presented images, showing mixed-reality scenes, they preferred.