Reconstruction of 3d models from images and point clouds with shape primitives

Abstract

3D-Modelle finden immer breitere Anwendung in verschiedensten Applikationen, etwa in Computerspielen, Planungssoftware, Applikationen für Training und Simulation, oder in virtuellen Stadtplänen. Für viele dieser Anwendungen ist es notwendig oder zumindest vorteilhaft, wenn die 3D Modelle einer echten Szene entsprechen. Da die manuelle Modellierung echter Objekte nur Spezialisten vorbehalten ist, ist es notwendig automatische oder semi-automatische, einfach zu bedienende Verfahren zur Rekonstruktion von Objekten zu entwickeln.<br />Die vorliegende Arbeit präsentiert Methoden zur Rekonstruktion von 3D Modellen, die speziell für künstliche, von Menschen geschaffenen Umgebungen entwickelt wurden. Diese Objekte können meist durch einfache geometrische Primitive, wie z.B. Ebenen oder Zylinder, approximiert werden. Der Vorteil dieser geometrischen Primitive ist, dass die rekonstruierten Modelle sehr einfach gehalten werden und dadurch eine effiziente Speicherung und Weiterverarbeitung ermöglichen.<br />Die Anwendbarkeit von Rekonstruktionsalgorithmen ist stark abhängig von den vorhandenen Eingabedaten, der Beschaffenheit der aufgenommenen Objekte, sowie den gewünschten Eigenschaften des erstellten 3D Modells.<br />Aus diesem Grund präsentieren wir drei verschiedene Algorithmen, welche unterschiedliche Eingabedaten verwenden. Es ist möglich, Objekte aufgrund von mehreren registrierten Bildern der Szene oder anhand einer Punktwolke zu rekonstruieren.<br />Weiters präsentieren wir Methoden um die Information aus beiden Datentypen zu kombinieren.<br />Unsere bildbasierte Rekonstruktionsmethode ist speziell für Umgebungen mit homogenen und glänzenden Oberflächen ausgerichtet, bei denen die Aufnahme von zuverlässigen 3D Punktdaten nur schwer möglich ist. Aus diesem Grund entwickelten wir eine interaktive Applikation, bei der Benutzereingaben notwendig sind. Geometrische Primitive werden anhand von benutzerdefinierten Segmentierung in zwei oder mehr Bildern in die Szene eingepasst.<br />Bei den punktbasierten Rekonstruktionsmethoden ist es hingegen möglich, 3D-Modelle vollautomatisch zu rekonstruieren. Jedoch besteht auch hier die Möglichkeit, die Ergebnisse mit Benutzereingaben zu verbessern. Der erste punktbasierte Algorithmus ist auf die Rekonstruktion von Gebäuden spezialisiert und verwendet unstrukturierte Punktwolken als Eingabe. Die Punktwolke wird in planare Segmente unterteilt und in 3D-Geometrie umgewandelt.<br />Der zweite Algorithmus ist zusätzlich für die Rekonstruktion von Innenräumen geeignet. Obwohl auch hier unstrukturierte Punktwolken unterstützt werden, wertet dieser Algorithmus spezielle Eigenschaften von Tiefenbildern aus, wie z.B. Redundanz und Sichtbarkeitsinformationen. Die automatische Segmentierung detektiert verschiedene geometrische Primitive. Anschließend werden die Begrenzungen der Primitive automatisch oder interaktiv extrahiert.<br />

3D models are widely used in different applications, including computer games, planning software, applications for training and simulation, and virtual city maps. For many of these applications it is necessary or at least advantageous, if the virtual 3D models are based on real world scenes and objects. Manual modeling is reserved for experts as it requires extensive skills. For this reason, it is necessary to provide automatic or semi-automatic, easy-to-use techniques for reconstructing 3D objects.<br />In this thesis we present methods for reconstructing 3D models of man-made scenes. These scenes can often be approximated with a set of geometric primitives, like planes or cylinders. Using geometric primitives leads to light-weight, low-poly 3D models, which are beneficial for efficient storage and post-processing.<br />The applicability of reconstruction algorithms highly depends on the existing input data, the characteristics of the captured objects, and the desired properties of the reconstructed 3D model. For this reason, we present three algorithms that use different input data. It is possible to reconstruct 3D models from just a few photographs or to use a dense point cloud as input. Furthermore, we present techniques to combine information from both, images and point clouds.<br />The image-based reconstruction method is especially designed for environments with homogenous and reflective surfaces where it is difficult to acquire reliable point sets. Therefore we use an interactive application which requires user input. Shape primitives are fit to user-defined segmentations in two or more images.<br />Our point-based algorithms, on the other hand, provide fully automatic reconstructions. Nevertheless, the automatic computations can be enhanced by manual user inputs for generating improved results. The first point-based algorithm is specialized on reconstructing 3D models of buildings and uses unstructured point clouds as input. The point cloud is segmented into planar regions and converted into 3D geometry.<br />The second point-based algorithm additionally supports the reconstruction of interior scenes. While unstructured point clouds are supported as well, this algorithm specifically exploits the redundancy and visibility information provided by a set of range images. The data is automatically segmented into geometric primitives. Then the shape boundaries are extracted either automatically or interactively.<br />