Markerloses 3D-Tracking von Menschen und Bauteil zur Ansteuerung eines Spatial Augmented Reality Assistenzsystems

Abstract

Die stattfindende Steigerung der Komplexität der Arbeit wirkt sich negativ auf die Arbeitskraft sowie die Produktivität der manuellen Arbeit aus, weshalb das Gebiet der Assistenzsysteme immer mehr an Bedeutung gewinnt. Zu kognitiven Assistenzsystemen, die auf die Reduktion der Belastung durch kognitive Unterstützung zielen, zählen auch Augmented Reality Anwendungen. Im Bereich der Baustellenfertigung weist Augmented Reality das Potential auf, Arbeitsanweisungen direkt auf Objekte innerhalb des Arbeitssystems zu projizieren und somit die Arbeit ergonomischer und effizienter zu gestalten. Um eine Kontextadaptivität zu gewährleisten, insbesondere durch die Projizierung relevanter Informationen am richtigen Ort und zur richtigen Zeit, wird Tracking relevanter Objekte vorausgesetzt. Neuartige Technologien, wie Tiefenbildkameras, und die damit verbundene Kenntnis der Lage der Objekte im dreidimensionalen Raum, öffnen die Tür für neue Anwendungen auf dem Gebiet der Augmented Reality und der kognitiven Assistenzsysteme. Diese Arbeit befasst sich mit der markerlosen Erfassung der Pose des Mitarbeiters sowie des Bauteils und der Gestaltung einer Mensch-Maschine-Schnittstelle basierend auf dreidimensionalen Daten bereitgestellt durch ein statisches Kamerasystem bestehend aus drei Time of Flight Kameras, wodurch in der Zukunft die Ansteuerung eines Spatial Augmented Reality Assistensysystems ermöglicht werden soll. Basierend auf der Literatur werden zunächst die Möglichkeiten zur Erkennung der relevanten Information aus den Daten mittels Machine Vision untersucht. Anschließend wird ein Konzept entsprechend der Spezifika des statischen Kamerasystems mit Time of Flight Kameras ausgearbeitet, entwickelt und abschließend auf die zuvor definierten Kriterien evaluiert. Obwohl die Funktionalität des Systems in Hinsicht auf die Extraktion der 3D-Informationen erreicht wurde, stellt die geclutterte industrielle Umgebung, sowie die Geschwindigkeit der Datenverarbeitung und dadurch die Fähigkeit zur Interaktion in Echtzeit, eine Herausforderung für den industriellen Einsatz.

The increase in the complexity of the daily activities of workers and operators has a negative effect on the productivity of manual labour. Therefore, the development of new forms of worker assistance has gradually become of significant interest. Lately, systems providing cognitive assistance aiming to reduce the complexity of the workload have been introduced. In this perspective, the integration of augmented reality as a form of cognitive assistance has become more popular. Projection of the work instructions directly on the surface of objects within the working area by the means of augmented reality can potentially benefit the productivity of the labour. In the area of site assembly, this transfers into an opportunity to ergonomically reshape the working environments in a more efficient way. The concept of a full context-adaptivity of an augmented reality system calls for the knowledge of the information about the environment. This implies the use of recognition and tracking. Emerging technologies, such as depth cameras, provide useful information about the position of objects in 3D. These new technologies pave the way for new applications in the area of augmented reality for cognitive assistance. This work targets the application of markerless workpiece and human pose estimation, as well as human-machine-interaction, for use in a spatial augmented reality assistance system. The system is based on the data provided by a static camera system consisting of three time of flight cameras. The thesis is structured in the following way. To establish an overview, a literature review focusing on the extraction of the relevant information by machine vision is presented. Afterwards, a concept will be developed according to the system specifications. Subsequently, the system is developed and evaluated with respect to the predefined criteria. The system fulfils the functionality regarding the pose estimation of the objects of interest. The cluttered industrial environment and the capability to interact in real-time, however, remain a challenge for an industrial application.