Augmented Reality video : situated video compositions in panorama-based Augmented Reality applications

Abstract

The rapid development of mobile devices such as smart phones has led to new possibilities in the context of Mobile Augmented Reality (AR). While there exists a broad range of AR applications providing static content, such as textual annotations, there is still a lack of supporting dynamic content, such as video, in the field of Mobile AR. In this work a novel approach to record and replay video content composited in-situ with a live view of the real environment, with respect to the user's view onto the scene, is presented. The proposed technique works in real-time on currently available mobile phones, and uses a panorama-based tracker to create visually seamless and spatially registered overlays of video content, hence giving end users the chance to re-experience past events at a different point of time. To achieve this, a temporal foreground-background segmentation of video footage is applied and it is shown how the segmented information can be precisely registered in real-time in the camera view of a mobile phone.<br />Furthermore, the user interface and video post effects implemented in a first prototype within a skateboard training application are presented.<br />To evaluate the proposed system, a user study was conducted. The results are given at the end of this work along with an outlook on possible future work.

Die rasante Entwicklung von mobilen Geräten wie Smartphones hat zu neuen Möglichkeiten im Bereich von Mobile Augmented Reality (AR) geführt. Obwohl es bereits eine Vielzahl an AR Anwendungen gibt, die die Integration von statischem Inhalt (z.B.<br />Text) erlauben, besteht noch immer ein Mangel an mobilen AR Anwendungen, welche die Integration von dynamischen Inhalten (z.B. Video) ermöglichen. In dieser Arbeit wird ein neuartiger Ansatz präsen- tiert, welcher es erlaubt an einem Interessenspunkt aufgenommenes Videomaterial an derselben örtlichen Stelle wiederzugeben, so dass die Live-Ansicht einer realen Umgebung mit diesem Videomaterial überlagert wird, unter Berücksichtigung des aktuellen Blickwinkels des Benutzers auf die betrachtete Stelle. Das vorgestellte System benützt einen Tracker, welcher auf einem Umgebungspanorama basiert, um eine räumliche Registrierung von Overlays (erzeugt aus dem Videomaterial) zu ermöglichen. Diese Overlays können somit durch das Tracking innerhalb die- ser Umgebung nahtlos in die Live-Ansicht einer Anwendung eingebettet werden.<br />Dadurch wird Endbenutzern erlaubt vergangene Geschehnisse zu einem anderen Zeitpunkt wiederzuerleben. Um dies zu erreichen, wird zuerst eine Segmentierung von Vordergrund und Hintergrund in dem aufgenommenen Videomaterial durchgeführt. Basierend darauf wird veranschaulicht, wie diese extrahierte Information präzise und in Echtzeit in der Live-Ansicht von aktuell verfügbaren Mobiltelefonen integriert werden kann. Außerdem wird ein erster Prototyp vorgestellt (als Teil einer Skateboard-Trainingsanwendung), inklusive Beschreibung des User Interfaces und implementierter Post-Effekte. Abschließend werden die Resultate einer im Zusammenhang mit dieser Arbeit durchgeführten Benutzerstudie vorgestellt und eine Aussicht auf mögliche zukünftige Verbesserungen in Bezug auf das vorgestellte System gegeben.<br />