Room layout and interior detection

Abstract

Immer mehr Menschen ziehen es vor, ihre Möbel über das Internet zu kaufen. Aus diesem Grund haben zahlreiche Möbelhändler begonnen, Möbelstücke auch in 3D zu visualisieren und für Kunden in virtuellen Räumen oder über AR erlebbar zu machen. Um sich besser vorstellen zu können, wie das gewählte Mobiliar in den eigenen vier Wänden aussehen wird, muss es in einem Raum präsentiert werden, der den gleichen Grundriss wie das eigene Zimmer hat. Viele solcher Anwendungen arbeiten mit vordefinierten Raum Layouts, die vom Benutzer manuell angepasst werden können. Andere Ansätze versuchen bereits, den Grundriss automatisch über 3D Punktwolken zu ermitteln. Leider dauert das Berechnen dieser Punktwolken sehr lange und erfordert ein gewisses Maß an Erfahrung bei der Beschaffung der Bilddaten. Auch Ansätze, die mit Panoramabildern oder mit Neuronalen Netzwerken arbeiten, funktionieren nicht in Echtzeit. Um die immersive Erfahrung von Räumen zu steigern, ist es nicht genug, nur den richtigen Grundriss zu verwenden. Es ist auch notwendig, den virtuellen Raum mit Möbelstücken zu füllen, die im physischen Raum ebenfalls vorhanden sind. Diese Diplomarbeit beschreibt eine Android Applikation, die Großteils automatisch den Grundriss eines Raumes erkennen kann. Der Benutzer muss nur minimalen Input leisten und braucht keine Vorkenntnisse, um die Applikation zu bedienen. Des Weiteren kann die Applikation auch die Möbelstücke im Raum erkennen und berechnet automatisch ihre korrekte Position und Rotation. Das Ergebnis ist ein 2D Grundriss, in dem Wände, Türen, Fenster und Möbelstücke visualisiert werden. Der gesamte Vorgang dauert nicht länger als 5 Minuten. Das Detektieren des Grundrisses geschieht mit State of the Art Computer Vision Techniken und die Objekterkennung funktioniert mit einem Neuronalen Netzwerk, das in Echtzeit Objekte und deren Position im Bild erkennen kann.

The automatic detection and visualization of a room layout and room interiors is important for many use cases such as immersive walkthroughs and for planning scenarios. Another field of application is the visualization and selling of furniture in an interior design application. Recently, furniture retailers have begun providing customers with new computer-assisted planning options for buying furniture, such as a 3D visualization of furniture inside a room. However, when placing a piece of furniture in a mockup living room, the user cannot easily tell how it really looks in his or her room. So the visualized room should have the same layout and dimensions as the real one. Current approaches that allow to determine the floor plan automatically are most times based on a 3D point cloud. The drawback of this method is that the computation of the point cloud is very time consuming or demands special hardware like depth cameras. Furthermore, for the user to gain an immersive experience, it is also important to place virtual 3D models of existing furniture in the room. This diploma thesis introduces an Android application that allows a user to digitize a real room including the interior, and visualize it as a 2d floor plan. The whole process does not take longer than 5 minutes and needs no previous knowledge by the user. The layout detection is done with state of the art Computer Vision techniques and the object detection is done using a neural network that detects an object and its location in the image at real time.