Human Scene Reconstruction for Urban Search and Rescue Missions

Abstract

Städtische Such- und Rettungseinsätze (USAR) in Post-Katastrophenumgebungen stellen kritische Herausforderungen für autonome Robotersysteme dar, insbesondere bei der Aufrechterhaltung einer genauen Lokalisierung während der Navigation durch dynamische Szenen mit Überlebenden und Rettungspersonal. Diese Arbeit präsentiert ein verteiltes Computer-Vision-System, das diese Herausforderungen bewältigt, indem es robuste Simultane Lokalisierung und Kartierung (SLAM) in von Menschen bevölkerten Katastrophenumgebungen ermöglicht, dabei gleichzeitig die Privatsphäre wahrt und innerhalb der Rechenbeschränkungen mobiler Roboterplattformen operiert. Das vorgeschlagene System teilt die Verarbeitung zwischen einem Edge-Gerät (NVIDIA Jetson Xavier AGX) und einem lokalen Server auf und implementiert eine Architektur, die menschenbewusstes visuelles SLAM mit datenschutzfreundlicher 3D-Rekonstruktion integriert. Das Edge-Modul führt Echtzeit-Tracking und menschliche Bewegungsanalyse durch, wobei semantische Maskierung und anthropometrische Beschränkungen in ein modifiziertes ORB-SLAM3-Framework [18] integriert werden. Das Server-Modul übernimmt die globale Optimierung und generiert hochauflösende 3D-Rekonstruktionen mittels Gaussian Splatting, während die Privatsphäre durch Schwärzung menschlicher Subjekte gewahrt bleibt. Die experimentelle Evaluation auf erweiterten RGB-D-Datensätzen zeigt, dass die Einbeziehung menschlicher Pose-Beschränkungen eine Reduzierung des Absoluten Trajektorienfehlers um 90,6% im Vergleich zu Baseline-SLAM-Systemen erreicht. Das System hält eine Genauigkeit unter 16cm in verschiedenen von Menschen bevölkerten Szenarien aufrecht. Diese Ergebnisse belegen die Praktikabilität von menschenbewusstem SLAM für den praktischen Einsatz in USAR-Operationen, wo eine genaue Navigation in dynamischen Umgebungen für den Missionserfolg entscheidend ist.

Urban Search and Rescue (USAR) missions in post-disaster environments are challenging for autonomous robotic systems, particularly in maintaining accurate localization while navigating dynamic scenes populated with survivors and rescue personnel. This thesis presents a distributed computer vision system that addresses these challenges by enabling Simultaneous Localization and Mapping (SLAM) in human-populated disaster environments while preserving privacy and operating within computational constraints of mobile robotic platforms. The proposed system partitions processing between an edge device (NVIDIA Jetson Xavier AGX) and a local server, implementing an architecture that integrates human-aware visual SLAM with privacy-preserving 3D reconstruction. The edge module performs real-time tracking and human motion analysis, incorporating semantic masking and anthropometric constraints into a modified ORB-SLAM3 [18] framework. The server module generates high-fidelity 3D reconstructions using Gaussian Splatting while maintaining privacy through redaction of human subjects. Experimental evaluation on RGB-D datasets demonstrates that incorporating human pose constraints achieves a 90.6% reduction in Absolute Trajectory Error compared to baseline SLAM systems. The system maintains sub-16cm accuracy in diverse human-populated scenarios. These results establish the viability of human-aware SLAM for practical deployment in USAR operations, where accurate navigation in dynamic environments is essential for mission success.