Reflections, refractions and caustics in a mixed-reality environment

Abstract

In einer Mixed-Reality Umgebung oder gemischten Realität werden virtuelle Objekte in eine reale Szene integriert. Eine solches Hinzufügen von virtuellen Objekten bietet eine innovative Möglichkeit, um Inhalte interessant und ansprechend aufzubereiten. Für das visuelle Erscheinungsbild der virtuellen Objekte ist eine authentische Beleuchtungssimulation notwendig. Andernfalls wirken die virtuellen Objekte künstlich und deplatziert, was den Gesamteindruck der wahrgenommenen Szene stört. Reflektierende und refraktierende Objekte sind in der Realität allgegenwärtig. Virtuelle Objekte dieser Art können entsprechend das Erscheinungsbild und die Nutzungsmöglichkeiten einer Mixed-Reality Anwendung verbessern. In vielen Mixed-Reality Systemen werden sie dennoch vernachlässigt: Für ihre Darstellung ist eine komplexe Lichtsimulation erforderlich. Eine solche lässt sich jedoch in ein Mixed-Reality System, das wegen der Benutzerinteraktion auf eine schnelle Bildausgabe angewiesen ist, nur schwer integrieren. Die Diplomarbeit befasst sich mit der Integration von reflektierenden und refraktierenden Objekten in eine Mixed-Reality Umgebung. Das Ziel ist eine realistische Lichtverteilung für die Simulation von Reflexionen und Refraktionen zwischen realen und virtuellen Objekten. Für eine überzeugende Darstellung sind außerdem Kaustiken wichtig. Dabei handelt es sich um Lichtfokussierungen durch Streuung an reflektierenden und refraktierenden Objekten. Bis vor Kurzem wurde dieser Effekt in der Beleuchtungssimulation anderer Mixed-Reality Systeme nicht berücksichtigt. Die von uns vorgeschlagene Methode erweitert den Differential Instant Radiosity Algorithmus mit drei anderen im Bildraum arbeitenden Techniken, die Reflexionen, Refraktionen und Kaustiken in Echtzeit berechnen können. Diese Algorithmen werden bei unserer Methode erfolgreich kombiniert. Dadurch können wir verschiedenste Lichteffekte von reflektierenden und refraktierenden Objekten simulieren und außerdem die Benutzerinteraktion in Echtzeit gewährleisten. Die Methode bietet eine praktische Möglichkeit um die visuelle Qualität einer Mixed- Reality Umgebung zu verbessern.<br />

In a mixed-reality environment virtual objects are merged into a real scene. Such an augmentation with virtual objects offers great possibilities to present content in new and innovative ways. The visual appearance of these virtual objects depends on a plausible lighting simulation. Otherwise, virtual objects look artificial and out of place, which destroys the overall impression of the perceived scene. Reflective and refractive objects are an inherent part of our physical environment. Accordingly, virtual objects of this type also enhance the overall impression and scope of a mixed-reality application. Many mixed-reality systems still neglect them: Such objects require a complex light simulation that is hard to embed in a mixed-reality system, which demands real-time frame rates to handle the user interaction. This thesis describes the integration of reflective and refractive objects in a mixed-reality environment. The aim is to create a realistic light distribution that simulates reflections and refractions between real and virtual objects. Another important aspect for a believable perception are caustics, light focusing due to the scattering from reflective or refractive objects. Until recently this effect was simply excluded in the lighting simulation of mixed-reality systems. The proposed rendering method extends differential instant radiosity with three other image space rendering techniques capable to handle reflections, refractions and caustics in real time. By combining these techniques, our method successfully simulates the various lighting effects from reflective and refractive objects and is able to handle user interactions at interactive to realtime frame rates. This offers a practicable possibility to greatly improve the visual quality of a mixed-reality environment.