Interactive 3D dense surface exploration in immersive virtual reality

Abstract

Detaillierte 3D-Rekonstruktionen real existierender Umgebungen werden benutzt, um Aufgaben der realen Welt (beispielsweise Ferninspektionen) zu lösen. Dabei ist nicht nur das Betrachten von Szenen erforderlich, sondern auch die Fähigkeit, mit der Umgebungzu interagieren, zum Beispiel die Selektion eines benutzerdefinierten Teilbereichs der Rekonstruktion für die spätere Verwendung. Problematisch bei großen 3D-Rekonstruktionen kann sein, dass Objekte aufgrund von Szenengeometrie oder Rekonstruktionsartefakten ganz oder teilweise verdeckt werden. Da dem aktuellen Stand der Technik Ansätze für das Behandeln von Verdeckungen in Umgebungen fehlt, die aus einer oder mehreren (großen)kontinuierlichen Oberflächen bestehen, schlagen wir die neuartige Technik Large Scale Cut Plane vor, die eine Segmentierung und anschließende Selektion von sichtbaren, teilweise oder vollständig eingeschlossenen Teilbereichen einer großen 3D-Rekonstruktion von einem weiter entfernten Standpunkt ermöglicht. Ein immersives Virtual-Reality-Setup,bestehend aus einem Head-Mounted-Display, einem Fortbewegungsgerät (omnidirektionales Laufband) und einem 6DOF-Hand-Tracking-Gerät werden mit der Large Scale Cut Plane-Technik kombiniert, um das Verständnis von 3D-Szenen und natürlichen Benutzerinteraktionen mit diesen zu fördern. Wir präsentieren außerdem Ergebnisse aus einer AnwenderInnenstudie, in der wir die Leistung und Verwendbarkeit unserer vorgeschlagenen Technik im Vergleich zu einer Basis-Technik untersuchen. Unsere Ergebnisse deuten darauf hin, dass die Cut-Plane Technik für große Umgebungen hinsichtlich Geschwindigkeit und Präzision der Basistechnik überlegen ist, während eine Verbesserung der Benutzeroberfläche notwendig ist.

Dense 3D reconstructions of real-world environments become wide spread and are foreseen to act as data base to solve real world problems, such as remote inspections. Therefore not only scene viewing is required but also the ability to interact with the environment,such as selection of a user-defined part of the reconstruction for later usage. However, inter-object occlusion is inherent to large dense 3D reconstructions, due to scene geometry or reconstruction artifacts that might result in object containment. Since prior art lacks approaches for occlusion management in environments that consist of one or multiple(large) continuous surfaces, we propose the novel technique Large Scale Cut Plane that enables segmentation and subsequent selection of visible, partly or fully occluded patches within a large 3D reconstruction, even at far distance. An immersive Virtual reality setup consisting of a Head-Mounted Display, a locomotion device (omni-directional treadmill)and a 6DOF-hand-tracking device are combined with the Large Scale Cut Plane technique to foster 3D scene understanding and natural user interactions. We furthermore present results from a user study where we investigate performance and usability of our proposed technique compared to a baseline technique. Our results indicate Large Scale Cut Plane to be superior in terms of speed and precision, while we found need of improvement of the user interface.