Unsupervised incremental learning in open-world object-centric mapping for mobile autonomous robots

Abstract

Object-centric mapping is a natural and efficient representation of 3D environments in robot applications that enables a large range of high-level tasks.Current approaches to 3D scene understanding are often limited by the assumption of closed sets of training data. In real-world scenarios, autonomous agents frequently encounter novel objects and unseen environments. Adapting models for scene understanding to detect and segment new object classes is a challenging problem in computer vision and machine learning.In addition, it is desirable for mobile autonomous robots to discover unknown objects and form meaningful new categories from observations without human supervision.In this work, we combine unsupervised incremental learning, novelty detection, and category discovery with dense object-centric mapping of real-world indoor environments. Our framework enables mobile autonomous robots to discover and learn object categories from RGB-D sensor data, and apply this new knowledge to instance-aware metric-semantic 3D reconstructions in a completely automated fashion. Evaluations on four sets of real-world scene recordings demonstrate the general practicality of our approach, measure the effects of incremental learning on object detection and segmentation, and illustrate the functionality of the framework with numerous examples. We follow this with a discussion of evaluation results and of potential future improvements to our method.

Objekt-zentriertes Mapping ist eine naturgemäße und effiziente Darstellung von 3D-Umgebungen im Einsatz von Robotern, die eine große Zahl abstrakter Tätigkeiten ermöglicht.Aktuelle Ansätze zum dreidimensionalen Bildverstehen sind oft auf die Annahme geschlossener Trainingsdatensätze beschränkt. In praxisnahen Szenarien begegnen autonome Agenten häufig neuartigen Objekten und Umgebungen. Modelle für das Bildverstehen so anzupassen, dass neue Objektklassen erkannt und segmentiert werden, ist eine herausfordernde Aufgabe in Bereich des maschinellen Sehens und Lernens. Zusätzlich ist es wünschenswert dass mobile autonome Roboter unbekannte Objekte erkennen und ohne menschliche Eingriffe aus Beobachtungen sinnvolle neue Kategorien bilden können. In dieser Arbeit kombinieren wir unüberwachtes inkrementelles Lernen, die Erkennung neuartiger Objekte und die Bildung neuer Kategorien mit Objekt-zentriertem Mapping von unstrukturierten Innenräumen. Unser Framework ermöglicht es mobilen autonomen Robotern in vollständig automatisierter Weise Objektkategorien in RGB-D Sensordaten zu entdecken und zu lernen, und dieses neue Wissen auf Instanz-basierte metrisch-semantische 3D-Rekonstruktionen anzuwenden. Eine Evaluierung mit vier Sätzen von Aufnahmen von Alltagsszenerien demonstriert die generelle Anwendbarkeit unseres Ansatzes, misst die Auswirkungen von inkrementellem Lernen auf Objekterkennung und Segmentierung und illustriert die Funktionalität des Frameworks mit zahlreichen Beispielen. Wir schließen der Evaluierung eine Erörterung der Ergebnisse und potentieller zukünftiger Verbesserungen unserer Methode an.