Smart Surface Reconstruction

Abstract

Punktwolken sind zwar leicht zu erzeugen, jedoch oft verrauscht, unvollständig und ohne Konnektivität. Sie können geschlossene Oberflächen nicht effizient darstellen, und eine Weiterverarbeitung für geometrische Anwendungen wie 3D-Druck ist schwierig. Daher möchten wir sie in Oberflächenrepräsentationen, insbesondere in Dreiecksnetze, umwandeln. Diese Dissertation befasst sich mit der Herausforderung, aus fehlerhaften Punktwolken genaue und robuste 3D-Objekte zu rekonstruieren. Traditionelle Methoden stoßen bei den Defiziten von Punktwolken an ihre Grenzen, was die Erforschung datengetriebener Ansätze motiviert. Deep Learning auf Punktwolken ist jedoch schwierig, da diese ungeordnet und unstrukturiert sind. Zudem ist ein Subsampling notwendig, weil neuronale Netze eine fixe Input-Größe haben. Dieses Subsample erzeugt jedoch Rauschen durch die teilweise zufällige Auswahl der Punkte. Unsere Arbeit untersucht Lösungen für diese Herausforderungen. Wir präsentieren drei Beiträge zum Feld der Oberflächenrekonstruktion: Points2Surf, das lokale und globale Priors kombiniert, um die Oberflächenrekonstruktion über verschiedene Objektklassen hinweg zu generalisieren; PPSurf, das Point-Convolutions und Attention nutzt, um die Rekonstruktionsqualität weiter zu verbessern; und LidarScout, das eine echtzeitfähige, out-of-core Visualisierung riesiger Luft-LIDAR-Scans durch effiziente und lokale Schätzung von Höhenkarten ermöglicht. Unsere Ergebnisse zeigen, dass das Gleichgewicht zwischen lokalen Details und globalem Kontext entscheidend für hochwertige, generalisierbare Rekonstruktionen ist. Wir zeigen, dass Modelldesign, Datenaugmentation und effiziente Repräsentationen entscheidend sind, um mit Rauschen und fehlenden Daten umzugehen. Die Erkenntnisse bieten praxisnahe Lösungen für die Rekonstruktion von einzelnen Objekten bis hin zu ganzen Landschaften.

Point clouds, while easy to acquire, are often noisy, incomplete, and lack connectivity. They cannot represent closed surfaces efficiently, and processing for geometrical applications like 3D printing is difficult. Therefore, we want to convert them to surface representations, most importantly, triangle meshes. This dissertation addresses the challenge of reconstructing accurate and robust 3D objects from imperfect point clouds. Traditional methods struggle with point cloud defects, motivating the exploration of data-driven approaches. However, deep learning on point clouds is difficult due to their unordered and unstructured nature. Further, subsampling is necessary to fit them into the fixed-size input of a neural network, which introduces randomness. In this thesis, we explore solutions for these challenges. We present three main contributions: Points2Surf, which combines local and global priors to generalize surface reconstruction across diverse object classes; PPSurf, which leverages point convolutions and attention to further improve reconstruction quality; and LidarScout, which enables real-time, out-of-core rendering of massive aerial LIDAR scans by focusing on efficient, local heightmap estimation. Our results demonstrate that balancing local detail with global context is key to achieving high-quality, generalizable reconstructions. We show that model design, data augmentation, and efficient representations are crucial for handling noise and missing data. The findings offer practical solutions for reconstructions from single objects to entire landscapes.