Editing reality: a tool for interactive segmentation and manipulation of 3D reconstructed scenes

Abstract

Die zunehmende Verbreitung von günstigen 3D-Scannern hat vielen Menschen Zugang zu Technologie verschafft, die dreidimensionale Umgebungen in Echtzeit rekonstruieren kann. Derzeit verfügbare Anwendungen zur Rekonstruktion von Szenen zielen hauptsächlich darauf ab, ein einzelnes, verarbeitetes 3D-Modell für anschließenden 3D-Druck zu produzieren. Es gibt kaum Möglichkeiten zur natürlichen und intuitiven Navigation und Manipulation von Szenen. Zu diesem Zweck muss die virtuelle Umgebung in individuelle Objekte segmentiert werden, die ihren echten Ebenbildern so gut wie möglich gleichen. Um die Intuitivität eines solchen Systems noch weiter zu erhöhen, sollten gängige Ansätze zur Navigation von Szenen überdacht und verbessert werden. In diesem Forschungsprojekt wurde ein Prototyp für die virtuelle Rekonstruktion und Manipulation von dreidimensionalen Szenen entwickelt. Das System ermöglicht schnelle und intuitive Rekonstruktion durch 3D-Scanning mit Hilfe eines Tablets in Verbindung mit einer Tiefenkamera. Individuelle Flächen und Objekte werden durch eine Kombination von automatischen und manuellen Segmentierungsmethoden identifiziert und voneinander getrennt. Die nachfolgende Verarbeitungsphase erlaubt das Schließen von Löchern und das Entfernen von kleinen, unerwünschten Komponenten. Anschließend werden die Tracking-Fähigkeiten des 3D-Rekonstruktions-Algorithmus ausgenutzt, um Anwendern die Navigation in der virtuell rekonstruierten Szene durch Bewegen des Tablets zu ermöglichen, dessen Bildschirm als Fenster in die virtuelle Welt fungiert. Der Touchscreen des Handhelds kann dazu verwendet werden, zuvor segmentierte Objekte herumzutragen und an jeden beliebigen Ort in der Szene zu verschieben. Vervielfältigung, Transformation und Entfernung von Gegenständen werden durch die zur Verfügung gestellten Werkzeuge ebenfalls ermöglicht. Bearbeitete Szenen können in verschiedene Dateiformate exportiert werden, um anschließend in anderen Applikationen weiterverwendet zu werden. Zur Evaluation des Prototyps wurde im Anschluss an die Entwicklung eine kleine Benutzerstudie durchgeführt. Die Ergebnisse zeigen, dass das System eine hohe Benutzerfreundlichkeit aufweist und die Bedienung leicht gelernt werden kann. Teilnehmer konnten Szenen ohne größeren Aufwand in ausreichender Qualität rekonstruieren und segmentieren. Darüber hinaus haben sich die verwendeten Methoden zur Navigation und Manipulation von Szenen als höchst intuitiv und natürlich erwiesen. Die Evaluation hat zudem eine Reihe von Möglichkeiten aufgezeigt, wie eventuelle zukünftige Versionen noch weiter verbessert werden könnten.

The rise of consumer devices capable of 3D scanning has given many people access to technology that is able to reconstruct three-dimensional environments in real-time at a relatively low cost. Available consumer solutions for scene reconstruction, however, are mostly focused on producing a single, cleaned watertight mesh that is suitable for 3D printing. There are no or very limited ways for a user to navigate and manipulate the reconstructed scene in a natural and intuitive manner. To this end, the virtual scene must be segmented into distinct objects that should resemble their real-world counterparts. To further aid the design of an intuitive system, prevalent approaches to scene navigation have to be revisited and improved upon. In this research project, a prototype for the virtual reconstruction and manipulation of three-dimensional scenes has been developed. The system allows for quick and intuitive 3D scanning and reconstruction by using a tablet display in combination with a depth camera. Distinct planes and objects are identified and separated from each other by utilizing a combination of automatic and manual segmentation techniques. The subsequent processing stage allows users to fill possible gaps and remove small, unwanted components. Afterwards, the tracking capabilities of the 3D reconstruction algorithm enable users to navigate through their reconstructed virtual scene by physically moving the tablet. The mobile display functions as a window into the virtual world. By utilizing the touch capabilities of the screen, previously segmented objects can be carried around and repositioned anywhere in the scene. Duplication, transformation and removal of items is also possible with the provided tools. Edited scenes can be exported to one of several common file formats for use in other applications. After development, a small user study was conducted in order to evaluate the prototype. The results show that the system has a high usability and can be learned easily. Participants were able to reconstruct and segment scenes in reasonable quality without much effort. Moreover, the methods used for scene navigation and interaction proved to be highly intuitive and natural. The evaluation also revealed several possible areas of improvement for future releases.