Interactive 3D reconstruction and BRDF estimation for mixed reality environments

Abstract

In vielen Mixed Reality Applikationen wirken die virtuellen Objekte als wären sie nicht in die Szene integriert und erscheinen daher sehr künstlich. Das liegt unter anderem daran, dass sie anders schattiert werden als die Realen und Phänomene wie indirekte Beleuchtung, Schatten und Verdeckungen nicht konsistent sind.<br />Um solche Effekte zu berücksichtigen benötigt man ein geometrisches Modell der realen Szene sowie Informationen über deren Materialeigenschaften und deren Beleuchtung. Da sich in Mixed Reality Anwendungen all diese Komponenten dynamisch verändern können - man denke zum Beispiel an das Verschieben eines realen Gegenstands - genügt es nicht, diese Daten als Vorverarbeitungsschritt zu modellieren.<br />Die automatische Schätzung von Materialeigenschaften von realen Objekten anhand von Farbbildern ist allerdings mit sehr viel Rechenaufwand verbunden und Laufzeiten von solchen Algorithmen bewegen sich zwischen 20 Minuten und mehreren Stunden. In dieser Diplomarbeit wird ein Algorithmus zur interaktiven 3D Rekonstruktion und BRDF Schätzung vorgestellt, dessen Laufzeit weniger als eine halbe Sekunde beträgt.<br />Diese immense Leistungssteigerung wurde unter anderem durch eine neuartige GPU Implementierung des K-Means Algorithmus erreicht, bei der, neben den Distanzberechnungen, auch die Schwerpunktsberechnungen mit Hilfe von MIP Maps auf die GPU verlagert wurden. Wir verwenden die Microsoft Kinect um Farb- und Tiefeninformationen über die Szene zu bekommen sowie eine Fischaugekamera um die Beleuchtung einzufangen und zeigen, dass Schätzungen von Materialeigenschaften anhand von Farbbildern in Echtzeit machbar sind, wodurch die Verwendung in Mixed Reality Systemen, zur Verbesserung der visuellen Darstellung von virtuellen Objekten, ermöglicht wird.<br />

In mixed reality environments virtual content typically looks very artificial. One reason for that is because there is no consistent shading between the virtual and the real objects. Two examples are shadows and indirect illumination between the artificial and the real scene elements, which require to have information about the real world's geometry and its materials respectively.<br />In mixed reality interaction with real objects is a key feature.<br />Integrating consistent shading in such a system means that the system at all times needs an up-to-date model of the scene's geometry, its lighting and its material characteristics. The information is usually obtained as a manual pre-processing step, which is a tedious, time-consuming task and has to be re-done whenever a scene element that is not tracked changes. This poses strong limits to the wide-spread use of such a technique and one would like to have it done automatically. However, the automatic estimation of material characteristics of real objects using color images has always been an offline task in the literature having processing times from around 30 minutes up to several hours. In this work an interactive BRDF estimation technique is proposed, which uses the parallel power of current GPUs speeding up the running time to under half a second. One reason for the speed-up was a novel GPU K-Means implementation using MIP maps to calculate the new cluster centers on the GPU, which is often done on the CPU. The 3D geometry is also reconstructed in our technique since it is needed for indirect illumination and occlusion. We use the Microsoft Kinect sensor to acquire both, the geometry and the color images and capture the lighting environment using a fish-eye lens camera. With the algorithm presented in this thesis we have shown that real-time results are possible opening up its use in mixed reality systems in order to improve the appearance of virtual content.