BathyNet: A Deep Neural Network for Water Depth Mapping from Multispectral Aerial Images

Abstract

BathyNet: Ein Deep Neural Network für die Wassertiefenkartierung aus multispektralen Luftbildern. Neben Flugzeuglaserscanning und Mehrmedienphotogrammetrie stellt die Analyse von Multispektralbildern eine dritte optische Methode zur Ableitung von Wassertiefen dar. In diesem Beitrag präsentieren wir BathyNet, ein an U-Net angelehntes Convolutional Neural Network, das auf hochauflösenden RGBC-Luftbildern (rot, grün, blau, coastal blue) basiert. Der Ansatz kombiniert photogrammetrische und radiometrische Methoden: Die Vorverarbeitung der originalen Luftbilder beruht auf Strahlenverfolgung der potentiell schrägen Bildstrahlen unter Berücksichtigung der inneren und äußeren Kameraorientierung. Die eigentliche Wassertiefenschätzung erfolgt danach durch Auswertung des radiometrischen Bildinhalts in einem Deep Learning Framework. 3D-Wasseroberflächen- und Wasserbodenmodelle, die aus simultan erfassten Laserbathymetrie-Punktwolken abgeleitet wurden, dienen als Referenz- und Trainingsdaten sowohl für die Bildvorverarbeitung als auch für die tatsächliche Tiefenschätzung. Damit unterstreicht der Ansatz die Vorteile einer gemeinsamen Verarbeitung der Daten von hybriden Sensorsystem bestehend aus Laserscannern und Kameras. Für die Überprüfung und Validierung des Ansatzes wurden RGBC-Bilder und Laserscandaten von vier grundwassergespeisten Seen rund um Augsburg, Deutschland, herangezogen. Mit einem systematischen Tiefenfehler von weniger als 15 cm und einer Standardabweichung von etwa 40 cm entsprechen die erzielten Ergebnisse der Genauigkeitsklasse Bc7 des von der International Hydrographic Organization definierten Standards für hydrographische Vermessungen. Weitere Verbesserungen sind durch die Erweiterung von BathyNet um simultane sematische Segmentierung zu erwarten.

Besides airborne laser bathymetry and multimedia photogrammetry, spectrally derived bathymetry provides a third optical method for deriving water depths. In this paper, we introduce BathyNet, an U-net like convolutional neural network, based on high-resolution, multispectral RGBC (red, green, blue, coastal blue) aerial images. The approach combines photogrammetric and radiometric methods: Preprocessing of the raw aerial images relies on strict ray tracing of the potentially oblique image rays, considering the intrinsic and extrinsic camera parameters. The actual depth estimation exploits the radiometric image content in a deep learning framework. 3D water surface and water bottom models derived from simultaneously captured laser bathymetry point clouds serve as reference and training data for both image preprocessing and actual depth estimation. As such, the approach highlights the benefits of jointly processing data from hybrid active and passive imaging sensors. The RGBC images and laser data of four groundwater supplied lakes around Augsburg, Germany, captured in April 2018 served as the basis for testing and validating the approach. With systematic depth biases less than 15 cm and a standard deviation of around 40 cm, the results satisfy the vertical accuracy limit Bc7 defined by the International Hydrographic Organization. Further improvements are anticipated by extending BathyNet to include a simultaneous semantic segmentation branch.