A Composable and reusable photogrammetric reconstruction library

Abstract

Photogrammetrie beschreibt den Vorgang, Informationen aus Fotografien herauszumessen. Photogrammetrie wird heutzutage als flexiblere Alternative zu traditionellen Vermessungstechniken, wie etwa mithilfe von Laserscannern, angesehen, was hauptsächlich der digitalen Fotografie und der Verfügbarkeit erschwinglicher und leichter Konsumentenkameras zu verdanken ist. Diese Flexibilität kommt zum Beispiel auf Baustellen oder bei Drohnenflügen günstig. Allerdings ist es oft unverhältnismäßig schwierig, neuartige oder experimentelle Techniken der Photogrammetrie zu entwickeln, da verfügbare Software komplexe und schwer zu modifiziernde Implementierungen aufweist, oder der Programmcode bei kommerziellen Tools überhaupt nicht eingesehen werden kann. In dieser Diplomarbeit präsentieren wir eine Programmbibliothek für Photogrammetrie, die Modularität und Wiederverwendbarkeit betont. Die Bibliothek zielt darauf ab, schnelles und gewisses Experimentieren in einem wissenschaftlichen Kontext zu unterstützen. Dazu leiten wir die notwendigen Komponenten her: Die Repräsentation von Eingangsdaten (Feature Extraction, Feature Matching), das Zurückrechnen von dreidimensionaler Struktur aus zweidimensionalen Beobachtungen (Pose Recovery), und das Berechnen eines global konsistenten Modells aus vielen teilweisen Beobachtungen (Structure From Motion, Bundle Adjustment). Wir gewinnen Einsichten aus dem Bereich der Funktionalen Programmierung um diese einzelnen Bausteine zu komplexeren Modulen zusammenzuführen, sowie die Erweiterbarkeit und Flexibilität auf mehreren Ebenen der Abstraktion zu gewährleisten. Diese Diplomarbeit beinhaltet begleitende Codestücke und Rekonstruktionsbeispiele, um Funktionalitäten zu illustrieren.

Photogrammetry is the act of recovering information from photographs. Thanks to digital photography and cheap consumer cameras, the recent years have seen a rising interest in photogrammetry as a more flexible alternative to traditional surveying technologies, for example laser scanners. Specifically, the flexibility of photo cameras makes photogrammetry suitable for outdoor scenes unfavourable for heavy equipment, such as construction sites or drone flights. However, commercial photogrammetry software often makes experimentation with novel techniques difficult, since the subject is mathematically complex and code is often difficult to modify or closed source. In this diploma thesis, we present a composable, reusable photogrammetry library which aims to facilitate confident experimentation in a scientific context. We derive important components needed for photogrammetry, including the representation of data (Feature Extraction and Feature Matching), obtaining three dimensional scene structure from two dimensional images (Pose Recovery) and computing a globally consistent model from arbitrarily many images (Structure From Motion and Bundle Adjustment). Adhering to Functional Programming paradigms, we compose these basic components to form more complex modules, and show how to build an extensible and flexible library API on multiple levels of abstraction. Accompanying code listings and examples are included, showcasing example reconstructions with our library.