Object modelling from RGBD data

Abstract

Durch die schnelle Weiterentwicklung von Tiefenbildkameras in den letzten Jahren sind auch die Anwendungen, welche diese Sensoren nutzen, gestiegen. Abgesehen von einfachen Anwendungen gibt es jedoch das Bedürfnis, exakte und vollständige 3D Szenen und Modelle zu rekonstruieren. Solche 3D Modelle finden vor allem im Bereich der Robotik für Objektwiedererkennung und im Bereich der 3D Drucker Anwendung. Das Ziel dieser Arbeit ist die Erstellung eines Software-Frameworks zur Rekonstruktion von 3D Objekten unter Verwendung von Farb- und Tiefeninformation von RGBD Kameras. Die Arbeit besteht aus drei Teilen: Zuerst werden unterschiedliche Algorithmen für die Rekonstruktion und Texturierung von 3D Modellen untersucht und umgestetzt. Da der Rekonstruktionsprozess relativ komplex ist, ist es wichtig, möglichst viele und unterschiedliche Algorithmen zu analysieren und umzusetzen. Wir untersuchen verschiedene Algorithmen, beginnend bei der Registrierung von Punktwolken aus unterschiedlichen Blickwinkeln, Optimierung der registrierten Punktwolken, Erzeugung eines Polygonmodells und schließlich der Texturierung der Modells unter Verwendung der Farbbilder, welche von der Kamera aufgenommen werden. Außerdem behandeln wir auch die Rekonstruktion von Objekten, welche in unterschiedlichen Stellungen aufgenommen wurden. Die untersuchten Algorithmen werden anschließend in ein einfach konfigurierbares und erweiterbares Framework eingefügt. Ziel ist eine einfache und erweiterbare Lösung für eine große Bandbreite an Rekonstruktionsszenarien. Eine einfach zu nutzende grafische Benutzeroberfläche wurde entwickelt, welche die Benutzung des Frameworks sowohl auf aufgenommenen Sequenzen als auch auf Live-Streams ermöglicht. Basierend auf dem Framework wurde auch eine Konsolenapplikation entwickelt, welche unbeaufsichtigte Analysen und Verarbeitung von mehreren Objekten gleichzeitig ermöglicht. Der letzte Teil der Arbeit beschäftigt sich mit der Analyse der Ergebnisse der Rekonstruktion, der Algorithmen und deren Konfigurationen. Da der Rekonstruktionsprozess aus mehreren Schritten besteht, die aufeinander aufbauen, werden auch Abhängigkeiten zwischen diesen Schritten untersucht. Die Ergebnisse werden mit anderen aktuellen Applikationen verglichen, um Stärken und Schwächen der verschiedenen Lösungen aufzuzeigen.

With the fast development and improvement of range cameras in recent years, also the number of applications using these sensors increased dramatically. However, besides some simple analysis of range data, there is also a need for detailed and complete reconstruction of 3D scenes and objects in order to use the data provided by the camera in a simple way. The 3D objects can be directly used in various applications, e.g. in the field of robotics for object recognition and tracking or as input for 3D printers. The purpose of this thesis is to create a framework for reconstruction of 3D objects using range and image data provided by RGBD cameras. This thesis consists of three parts: First, different algorithms are reviewed and implemented for reconstructing and texturing 3D objects from range images. Because reconstruction is quite a complex task, for achieving best results it is crucial to implement and evaluate as many algorithms as possible. We examine algorithms for different parts in the process of reconstruction, starting with registration of point clouds from different views, optimizing the registered point clouds, generating a mesh from the aligned point clouds and finally texturing the resulting mesh using image data provided by the camera. Finally, we also investigate reconstruction of objects using multiple sequences from different object poses. The algorithms examined in the first part are combined into a single, highly configurable and extensible framework. It provides a simple and extensible solution for a great range of different reconstruction scenarios. A simple-to-use graphical user interface has been developed for configuring and running the framework on both recorded scenes and live camera streams. Based on the framework a command line application has been developed allowing unattended analysis and batch processing of multiple objects. The last part of the thesis analyses the reconstruction results, the algorithms and their configurations. Because the reconstruction process consists of several steps, where each step uses the calculation results of the previous step, also the interaction between the algorithms and the impact of changing one algorithm in the pipeline is evaluated. The results are compared to other popular object reconstruction frameworks, highlighting the strengths and weaknesses of each framework.