Potential of very high resolution satellite imagery for 3D reconstruction and classification

Abstract

Hochauflosende Satellitensensoren mit ihrem effizienten weltweiten Aufnahmemöglichkeiten sind eine wertvolle Quelle für Geodatenanwendungen, die eine großflächige Abdeckung und hohe zeitliche Auflösungen erfordern, wie zum Beispiel: die Überwachung von Umweltkatastrophen, Stadtplanung, Veränderungsdetektion, Navigationsunterstützung, Umwelt- und hydrologische Modellierung.Allerdings reicht die alleinige zweidimensionalen Bildinformationen zur Beurteilung unterschiedlicher spezifischer Situationen oft nicht aus. Daher ist eine dreidimensionale Rekonstruktion der abgebildeten Szene erforderlich. Durch die Kombination des 2D-Bildinhalts mit der rekonstruierten 3D-Geometrie kann eine verbesserte Basis für verschiedene Anwendungen erreicht werden. Das führt zu einem besseren Verständnis der beobachteten Szene. Dies ist mit den heutigen hochflexiblen Sensoren möglich, die Satellitenbilder aus mehreren Ansichten über denselben Interessenbereich während eines einzigen Durchgangs aufnehmen können.Während sich viele Forschungsarbeiten mit dem spektralen 2D-Inhalt optischer Satellitenbilder befassen, ist das Thema der 3D-Untersuchungen erheblich kleiner. Angesichts des geringen Forschungstätigkeiten in dieser Richtung zielt diese Arbeit darauf ab, das Wissen über das 3D-Potenzial von hochauflosenden Satellitenbildern zu erhöhen und zu erweitern. Das Ziel dieser Dissertation ist die automatische 3D-Informationsextraktion und Klassifizierung von natürlichen und bebauten Gebieten aus Stereo/Tri-Stereo-Szenen von Pléiades und WorldView-3 Satellitenbildern, um das Potenzial und die Grenzen hervorzuheben und einen tiefen Einblick von hochauflosenden-Sensoren zu erhalten.Die Arbeit der Dissertation fokussiert sowohl auf methodische Entwicklungen als auch auf beschreibende Aspekte zur Verbesserung und zu einem besseren Verständnis des aktuellen Zustands der erreichbaren 3D-Informationen aus hochauflosenden Satellitenbildern. Diese sind insbesondere mit den folgenden wissenschaftlichen Zielen verbunden: (a) 3D-satellitenbasierte Punktwolkenrekonstruktion und Genauigkeitsanalyse von Höhenmodellen; (b) Satellitenbild-Geometriekorrektur basierend auf hochauflosenden Höhenmodellen; (c) Verbesserung der Orthofotoqualität; (d) Analyse der Klassifikationsleistung; und (e) Potenzial für die 3D-Rekonstruktion kleiner, isolierter Objekte. Ein Nebenfokus liegt auf der Beschreibung eines photogrammetrischen Arbeitsablaufs für die 3D-Informationsextraktion aus hochauflosenden Satellitenbildern und auf der Objektsichtbarkeitsanalyse basierend auf den Geometrieerfassungsparametern.Praktische Beispiele für die Extraktion von 3D-Informationen werden in vier unterschiedlichen Gebieten mit unterschiedlichen topografischen Eigenschaften und Landbedeckung analysiert: ländliche, städtische, offene landwirtschaftliche Felder, Grasland, Wälder, und Berggebiete. Die durchgeführten Experimente zeigen vermutliche Vibrationen des Satellitensensors (Jitter-Effekt), die durch die schnelle Drehung von einer Blickrichtung in die andere verursacht werden und von den mitgelieferten rationalen Polynomkoeffizienten (RPC) nicht erfasst werden konnten. Es wird eine neue Methode eingeführt, die die Geometrie von Satellitenbildern basierend auf der Rückprojektion von reale und Referenzhöhen unter Verwendung von Bias-korrigierten RPCs optimiert. Neben Methoden zur Verbesserung der geometrischen Genauigkeit und Qualität von satellitengestützten Höhenmodellen und Orthofotos wurde besonderes Augenmerk auf feinste Details gelegt, die in den photogrammetrisch abgeleiteten Höhenmodellen abgebildet werden können.Indem sie die erreichbare 3D-Informationsextraktion aus Pléiades- und WordView-3 Stereo/Tri-Stereo-Bildern ansprechen, bringen diese Beiträge neue Einblicke in das Forschungsthema und tragen dazu bei, das 3D-Wissenspotenzial von hochauflosenden Satellitenbildern zu erhöhen und zu erweitern.

Very High Resolution (VHR) satellite sensors with their efficient worldwide acquisition capabilities are a valuable source for geospatial applications requiring large-scale coverage and high temporal resolutions, such as: disaster monitoring, urban management, change detection, navigation support, environmental and hydrological modelling. However, the purely two-dimensional image information is often not sufficient for assessing different specific situations and therefore a three-dimensional reconstruction of the depicted scene is necessary. By combining the 2D image content with the 3D reconstructed geometry, improved baselines for various applications can be achieved, leading to a better understanding of the observed scene. This is possible with the today’s high agile sensors able to acquire multi-view satellite image collections over the same area of interest during a single pass. While many research papers address the spectral 2D content of optical satellite images, the 3D capability exploration topic is significantly reduced. Given the low amount of research in this direction, the aim of this dissertation is to increase and expand the knowledge regarding the 3D potential of VHR satellite imagery. The focus falls on the automatic 3D information extraction and classification of natural and developed areas from stereo/tri-stereo scenes of VHR satellite images from Pléiades and WorldView-3 in order to highlight and to get a deep insight into the potential and limitations of VHR sensors.The research in this dissertation focuses on both methodology developments and descriptive aspects for improving and better understanding the actual state of the achievable 3D information from VHR satellite imagery, specifically associated with following scientific objectives: (a) 3D satellite-based point cloud reconstruction and accuracy analysis of elevation models; (b) satellite image geometry correction based on high resolution elevation models; (c) orthophoto quality improvement; (d) classification performance analysis; and (e) potential for 3D reconstruction of small, isolated objects. A side focus is also paid on the description of an end-to-end photogrammetric workflow for 3D information extraction from VHR satellite imagery and on object visibility analysis based on satellite image acquisition geometry parameters.Practical examples for 3D information extraction are analysed in four distinct areas with various topographic characteristics and land coverage: rural, urban, open agricultural fields, grasslands, forests, and mountainous areas. Conducted experiments reveal possible vibrations of the satellite sensor (jitter effect), caused by the fast rotation from one viewing direction to another, which could not be captured by the provided Rational Polynomial Coefficients (RPCs). A new method is introduced that optimizes the geometry of satellite images based on the back-projection of actual and reference elevations, by means of bias-corrected RPCs. Besides methods for improving the geometric accuracy and quality of satellite-based elevation models and orthophotos, special attention was accorded to the finest details that can be mapped in the photogrammetrically derived elevation models.By addressing the 3D achievable information extraction from Pléiades and WordView-3 stereo/tri-stereo imagery, these contributions bring new insights to the research topic and can help to increase and expand the knowledge regarding the 3D potential of VHR satellite imagery.