Reconstruction of riverbed topography with neural radiance fields

Abstract

Eine genaue 3D-Rekonstruktion flacher Binnengewässer wie Flüsse und Seen ist für Überwachung, Hochwassermodellierung und ökologische Bewertung von entscheidender Bedeutung. Optische Photogrammetrie- und Fernerkundungsmethoden stoßen bei dieser Aufgabe jedoch aufgrund der Lichtbrechung an der Wasseroberfläche an ihre Grenzen. Neural Radiance Fields (NeRFs) haben sich zuletzt als vielversprechende Alternative für dichte 3D-Rekonstruktion auf Basis von RGB-Bildern etabliert. Herkömmliche NeRF-Modelle gehen jedoch davon aus, dass sich Licht entlang einer geraden Linie ausbreitet, und ignorieren dabei Lichtbrechungseffekte. Diese Diplomarbeit bewertet die Leistungsfähigkeit von BathyFacto, einer spezialisierten NeRF-Variante mit expliziter Modellierung von Lichtbrechung, für bathymetrische Kartierung. Das Modell wird auf den Open-Source-Multisensor-Datensatz des Flusses Pielach in Österreich angewendet. Ziel ist es, die Fähigkeit von BathyFacto zur Rekonstruktion des Flussbetts anhand von Bildern aus unbemannten Luftfahrzeugen (UAV) zu bewerten und zu optimieren. Dies geschieht durch den Vergleich der extrahierten Punktwolke mit einer post-prozessierten LiDAR-Punktwolke und manuell eingemessenen Punkten. In dieser Arbeit wird eine gierige sequenzielle Optimierungsstrategie (greedy sequential optimization) eingesetzt, um die Vorverarbeitungsparameter (Bildskalierung, Begrenzungsrahmen der Szene), die Parameter zur Punktwolkenextraktion (Akkumulationsschwelle, Anzahl der exportierten Punkte), die Netzwerkkapazität sowie weitere Trainingskonfigurationen (Kameraoptimierer, initiale Lernraten) anzupassen. Die Genauigkeit der daraus resultierenden Flussbettrekonstruktion wurde anhand der post-prozessierten LiDAR-Punktwolke und manuell eingemessenen Punkten unter Verwendung punktbasierter Methoden und geschätzter Flussbettquerschnitte bewertet. Darüber hinaus wurden rasterbasierte Visualisierungen für qualitative Bewertungen erstellt. Die in dieser Arbeit ermittelte optimale BathyFacto-Konfiguration erzielte einen RMSE für den Abstand zu den Ground-Truth-Punkten von 0.30m. Zum Vergleich: Die Referenz-LiDAR-Daten erreichten für dieselbe Metrik einen RMSE von 0.02m. Im Vergleich zu einer Nerfactoäquivalenten Konfiguration ohne Refraktionskorrektur verschoben die refraktionsberücksichtigenden Komponenten von BathyFacto das rekonstruierte Flussbett im Allgemeinen näher an dieReferenzdaten heran. Allerdings stellen Überhänge und damit das Flussbett verdeckende Vegetation und steigende Wassertiefe weiterhin Fehlerquellen dar. Bemerkenswert ist, dass BathyFacto zwar in früheren Arbeiten bei synthetischen Daten deutlich besser abschnitt als das herkömmliche Nerfacto-Modell, dieser Vorteil sich jedoch bei dem in dieser Arbeit verwendeten realen Datensatz als relativ gering erwies. Dies deutet darauf hin, dass die Leistung von BathyFacto möglicherweise empfindlich auf die Qualität und Konsistenz realer UAV-Bilder oder auf die von Natur aus dynamische Wasseroberfläche reagiert.

Accurate 3D reconstruction of shallow inland water bodies, such as rivers and lakes, is essential for monitoring, flood modeling, and ecological assessment. However, optical photogrammetry and remote sensing methods struggle with this task due to light refraction at the water surface. Neural Radiance Fields (NeRFs) have recently emerged as a promising alternative for dense 3D reconstruction based on RGB imagery. However, conventional NeRF models assume that light travels in straight lines, thereby ignoring refraction effects. This thesis evaluates the performance of BathyFacto, a specialized NeRF variant that explicitly models refraction, for bathymetric mapping. The model is applied to the open-source, multi-sensor dataset of the Pielach River, located in Austria. The goal is to evaluate and optimize BathyFacto’s ability to reconstruct the riverbed from Unmanned Aerial Vehicle (UAV) imagery. This is achieved by comparing the extracted point cloud with a post-processed LiDAR point cloud and manually measured points. This study employs a greedy sequential optimization strategy to tune pre-processing parameters (image scale, scene bounding box), point-cloud extraction parameters (accumulation threshold, number of exported points), network capacity, and other training configurations (camera optimizer, starting learning rates). The accuracy of the resulting riverbed reconstruction was assessed against the post-processed LiDAR point cloud and independent ground-truth survey measurements, using point-based methods and estimated riverbed cross-sections. In addition, raster-based visualizations were generated for qualitative assessments. The optimal BathyFacto configuration found in this thesis achieved a point distance RMSE of 0.30m against manually surveyed riverbed ground-truth points. For comparison, the reference LiDAR data achieved an RMSE of 0.02m for the same metric. Compared with a Nerfacto-equivalent configuration without refraction correction, the refraction-aware components of BathyFacto generally shifted the reconstructed riverbed closer to the reference data. However, occluding vegetation and increasing water depth remain persistent sources of error. Notably, while BathyFacto performed substantially better than the standard Nerfacto model on synthetic data in previous work, this advantage was found to be relatively small on the real-world dataset used in this thesis. This suggests that the performance of BathyFacto may be sensitive to the quality and consistency of real-world UAV imagery, or to the dynamic nature of natural water surfaces.