OpenSfM : a collaborative Structure-from-Motion System

Abstract

Neben der Verwendung von teuren Laserabtastgeräten zur Aufnahme von großen Punktwolken für topographische oder architektonische Zwecke existieren heutzutage leistbarerer Alternativen. Structure-from-motion (SfM) ist in Kombination mit Multi-View Stereo (MVS) so eine kostengünstige photogrammetrische Methode mit deren Hilfe man große Punktdatensätze erzeugen kann. Unter SfM versteht man die Schätzung dreidimensionaler Strukturen aus zweidimensionalen Bildsequenzen. Diese Sequenzen können auch nur mit konventionellen Digitalkameras aufgenommen werden. In dieser Arbeit wollen wir ein freies, uneingeschränkt zugängliches Structure-from-motion System, basierend auf der Idee kollaborativer Projekte wie OpenStreetMap, aufbauen. Unser Client-Server-System mit dem Namen OpenSfM besteht aus einem Web-Frontend, das es dem Benutzer erlaubt SfM-Datensätze anzusehen, hochzuladen oder zu editieren und einem Backend, das auf Clientanfragen antwortet und die hochgeladenen Daten verarbeitet und in einer Datenbank speichert. Das Frontend ist ein virtuelles Tourismus-System über das man verortete Punktwolken und die dazugehörigen SfM-Daten wie Kameraparameter oder Fotos erkunden kann. Die Information wird im Kontext eines interaktiven virtuellen Globus gerendert. Eine Uploadfunktionalität macht es möglich neue Datensätze in das System zu integrieren und bestehende Datensätze zu verbessern oder zu ergänzen, indem man ihnen Fotos hinzufügt, die Bereiche der Punktwolke abdecken, die noch nicht erfasst sind. Weiters erlaubt ein Editiermodus die Korrektur von Verortungs- oder Rekonstruktionsfehlern. Am anderen Ende wertet das Backend hochgeladene Informationen aus und generiert mithilfe eines State-of-the-Art SfM-Systems und den GPS-Daten der Fotos verortete Punktwolken. Die generierten Punktwolken werden vorverarbeitet, sodass sie vom Punktwolkenrenderer des Frontend's verwendet werden können. Danach werden sie zusammen mit den hochgeladenen Fotos und SfM-Parametern in der dem System zugrundeliegenden Datenbank gespeichert. Im Großen und Ganzen erlaubt unser System das Sammeln von SfM-Datensätzen die über die ganze Welt verteilt sind und die verschiedene Sehenswürdigkeiten oder Wahrzeichen, aber auch nur lokal bekannte Gebäude, repräsentieren. Diese Datensätze können von jedem Benutzer der das virtuelle Tourismus-System über seinen Webbrowser aufruft interaktiv erkundet werden.

Besides using high-cost laser scanning equipment to capture large point clouds for topographical or architectural purposes, nowadays other, more affordable approaches exist. Structure-from-motion (SfM) in combination with multi-view stereo (MVS) is such a low-cost photogrammetric method used to generate large point datasets. It refers to the process of estimating three-dimensional structures out of two-dimensional image sequences. These sequences can even be captured with conventional consumer-grade digital cameras. In our work we aim to a establish a free and fully accessible structure-from-motion system, based on the idea of collaborative projects like OpenStreetMap. Our client-server system, called OpenSfM, consists of a web front-end which lets the user explore, upload and edit SfM-datasets and a back-end that answers client requests and processes the uploaded data and stores it in a database. The front-end is a virtual tourism client which allows the exploration of georeferenced point clouds together with their corresponding SfM-data like camera parameters and photos. The information is rendered in the context of an interactive virtual globe. An upload functionality makes it possible to integrate new SfM-datasets into the system and improve or extend existing datasets by adding images that fill missing areas of the affected point cloud. Furthermore, an edit mode allows the correction of georeferencing or reconstruction errors. On the other side the back-end evaluates the uploaded information and generates georeferenced point datasets using a state-of-the-art SfM engine and the GPS data stored in the uploaded images. The generated point clouds are preprocessed, such that they can be used by the front-end's point cloud renderer. After that, they are stored together with the uploaded images and SfM parameters in the underlying database. On the whole, our system allows the gathering of SfM-datasets that represent different sights or landmarks, but also just locally famous buildings, placed all over the world. Those datasets can be explored in an interactive way by every user who accesses the virtual tourism client using a web browser.