Efficient photogrammetric processing of unstructured historical oblique image collections

Abstract

Historische Bilder bieten uns einen einzigartigen Einblick in die Vergangenheit. Als solche sind sie zu wichtigen Quellen für die Dokumentation von Landschaftsveränderungen geworden. Unter den historischen Bildern werden Schrägaufnahmen von Forschenden weniger genutzt als andere Quellen, wie beispielsweise Luft-oder Satellitenbilder. Da sie von Amateuren u. Amateurinnen mit unbekannten Kameras völlig unstrukturiert aufgenommen wurden und über mehrere Archive ohne gemeinsame Metadaten verteilt sind, ist ihre Integration in räumliche Analysen schwierig und zeitaufwändig. Um diese Herausforderungen zu bewältigen und somit das volle Potenzial dieser Bilder auszuschöpfen, spielt die Photogrammetrie eine zentrale Rolle. Insbesondere die unbekannte innere und äußere Orientierung der Bilder verhindert eine weitere Nutzung in zweierlei Hinsicht: Erstens können Bilder in Archiven nicht räumlich gesucht werden. Zweitens erfordert die genaue Schätzung der inneren und äußeren Orientierung mittels räumlichen Rückwärtsschnitts, eine Voraussetzung für die Dokumentation von Landschaftsveränderungen anhand einzelner Schrägaufnahmen durch Monoplotting, Passpunkte, deren Suche zeitaufwändig ist. Daher ist die exakte Schätzung der unbekannten Kameraparameter mit minimalem manuellem Aufwand eine der zentralen Herausforderungen, um diese spannende Ressource für die Forschung einfacher nutzbar zu machen. Mit den bekannten Kameraparametern können einzelne Pixel monogeplottet werden. Bei keiner der verfügbaren Monoplotting-Lösungen kann jedoch die Unsicherheit der monogeplotteten Objektpunkte abgeschätzt werden. Während durch den überbestimmten räumlichen Rückwärtsschnitt auch die Unsicherheit der Kameraparameter geschätzt wird, ist es nach wie vor unklar, wie sich diese Unsicherheiten auf die monogeplotteten Objektpunkte auswirken. Nur mit dieser zusätzlichen Informationen ist eine Integration der monogeplotteten Strukturen in räumliche Analysen möglich. Andernfalls ist es unklar, ob die Genauigkeit der monogeplotteten Punkte überhaupt ausreicht, um beobachtete Landschaftsveränderungen zu quantifizieren. In dieser Arbeit haben wir uns speziell mit diesen beiden Herausforderungen befasst, welche unserer Meinung nach die größten Hindernisse für die effiziente Nutzung dieser einzigartigen Ressource darstellen. Um die unbekannten Kameraparameter für ganze Bildersammlungen effizient zu schätzen, haben wir einen automatischen Ansatz entwickelt, welcher auf dem sichtbaren Horizont basiert. Dieser hat sich, im Gegensatz zu den übrigen Teilen der Bilder, im letzten Jahrhundert weniger stark verändert und kann daher als stabiles Feature angesehen werden. Dieser Ansatz erfordert jedoch umfangreiche Prozessierungen, welche nicht in Relation zum Aufwand stehen, welcher für die Orientierung einiger weniger Bilder aufgebracht werden muss. Daher haben wir einen halbautomatischen Ansatz entwickelt, der auf Deep Learning basierten Deskriptoren basiert, um korrespondierende Punkte zwischen historischen Schrägaufnahmen und gerenderten 3D-Szenen zu finden. Um das nachfolgende Monoplotting zu erweitern, haben wir einen Ansatz zur Schätzung der Unsicherheit von monogeplotteten Objektpunkten entwickelt und Fälle (z.B.: Silhouetten) untersucht, in denen die Schätzung der Unsicherheit keine validen Schätzungen liefert. Schließlich haben wir beide Ansätze in unser Monoplotting-Tool moniQue integriert, das direkt in QGIS integriert wurde, um die Verarbeitung von Schrägbildern so nah wie möglich an die potenziellen Nutzer zubringen. Wir sind überzeugt davon, dass diese Arbeit dazu beitragen wird, die Integration historischer Schrägaufnahmen in räumliche Analysen zu erleichtgern und damit die derzeitige Beobachtungslücke in der Erforschung von Landschaftsveränderungen teilweise zu schließen.

Historical images offer us a unique insight into the past. As such, they have become important sources for documenting landscape changes. Among historical images, oblique images are less used by researchers than other sources, such as aerial nadir or satellite images. Since they were acquired completely unstructured by amateurs with unknown cameras and are scattered over multiple archives without common metadata, integrating them into spatial analysis is challenging and time-consuming. To overcome those challenges and hence, exploit the full potential of these images, photogrammetry can play a vital role. Especially, the unknown interior and exterior orientation is preventing further exploitation in two ways: First, images in archives cannot be searched spatially. Second, the precise estimation of the interior and exterior orientation through spatial resection, a prerequisite for documenting landscape changes from single oblique images through monoplotting, requires ground control points whose identification is time-consuming. Therefore, accurately estimating the unknown camera parameters with minimal manual input is one of the key challenges for opening up this immense resource for research. With the known camera parameters, monoplotting becomes possible. However, with none of the existing monoplotting solutions, the uncertainty of the monoplotted object points can be estimated. While the overdetermined spatial resection also estimates the uncertainty of the camera parameters, it is still unclear how these uncertainties propagate to the monoplotted object points. Only with this additional information, thorough integration of monoplotted features into spatial analysis becomes possible. Otherwise, it remains unclear whether the accuracy of monoplotted points suffices to quantify observed landscape changes. Hence, within this work, we specifically addressed those two challenges, which we believe are the main bottlenecks for exploiting this unique resource. To efficiently estimate the unknown camera parameters for whole image collections, we developed an automatic image orientation approach based on the visible horizon. The horizon, in contrast to the remaining parts of the images, has undergone less significant changes over the last century and hence, can be considered a stable feature for matching. However, this approach requires extensive preprocessing, which might not be suitable for orienting just a few images. Therefore, we further developed a semi-automatic image orientation approach using deep learning based feature point descriptors to find corresponding points between historical oblique images and rendered 3D scenes. To advance the subsequent monoplotting, we developed an approach to estimate the uncertainty of monoplotted object points and investigated cases (i.e., silhouettes), where the uncertainty estimation does not yield correct estimates. Lastly, we integrated the semi-automatic image orientation and uncertainty estimation into our monoplotting tool moniQue, which was directly integrated into QGIS to bring the processing of oblique images as close as possible to the potential users. Through all these achievements, we believe that this work will help to bridge the gap for researchers to integrate historical oblique images into their research. And with that, we might help to close the observation gap currently present in research related to landscape changes.