Towards fully autonomous first responder drones: A perception-driven Approach

Abstract

Die Erkennung menschlicher Körperhaltungen und Gesten aus Luftbildern hat zwei grundlegende Herausforderungen: eine geringe Pixeldichte bei operativen Distanzen und geometrische Verzerrungen durch steile Kamerawinkel. Diese Arbeit evaluiert eine hierarchische Pipeline zur Klassifikation von Körperposen und Handgesten aus Drohnenaufnahmen. Die Evaluierung erfolgt systematisch über ein 3×3-Raster aus Distanzen (15 m, 30 m, 45 m) und Betrachtungswinkeln (25°, 45°, 65°). Die Pipeline trennt die Analyse grober Körperposen von der feinen Handgestenerkennung und verwendet YOLOv8 zur Personenerkennung, MediaPipe Pose zur Skelett-Extraktion und MediaPipe Hands für die Gelenkpunkte in den Händen. Drei Architekturen werden für die Klassifizierung verglichen: ein geometrisches regelbasiertes System, k-Nearest Neighbors (KNN) und ein Multi-Layer Perceptron (MLP). Das MLP erreicht eine Genauigkeit von 99,8% für die Körperposenklassifikation, KNN erreicht 98,5% für die Handgestenerkennung auf Frames mit erfolgreiche extrahierten Gelenkpunkten, jeweils mit einem 3x-Teleobjektiv. Eine geometrische Fehleranalyse zeigt, dass die meisten KNN Fehlklassifikationen (zu 44% der Fehler wird Liegen als Winken erkannt) auf die Transformation von 2D zu 3D Koordinaten von MediaPipe zurückzuführen sind, nicht auf die Klassifikatoren selbst. Empirische Tests zu den Pose Estimations zeigen Detektionsgrenzen von ca. 43 Pixeln Körperhöhe und ca. 14 Pixeln Handhöhe für die Extraktion der jeweiligen Gelenkpunkte. Weil die Handhöhe in der Weitwinkelaufnahme bei über 15 Metern unter diese Grenze fällt, versagt die Handgestenerkennung mit der Standardkamera ab dieser Distanz. Ein optischer Zoom ist für Handgestenerkennung eine zwingende Hardwareanforderung. Winkel über 45° verringern zudem die Klassifikationszuverlässigkeit durch perspektivisch Verkürzung und bilden somit eine geometrische Grenze für autonome Systeme.

Human pose estimation and gesture recognition from aerial images have two fundamental challenges: low pixel density at operational distances and geometric distortion caused by steep viewing angles. This thesis evaluates a hierarchical perception pipeline to classify body poses and hand gestures from drone footage. The footage is captured using a systematic grid of distances (15 m, 30 m, 45 m) and viewing angles (25°, 45°, 65°). The pipeline decouples gross-motor body pose analysis from fine-motor hand gesture recognition. YOLOv8 is used for person detection, MediaPipe Pose for skeletal feature extraction, and MediaPipe Hands for the hand landmark detection. Three classification architectures are compared: a geometric Rule-Based approach, k-Nearest-Neighbors (KNN), and a Multi-Layer Perceptron (MLP). The MLP achieves 99.8% accuracy for body pose classification and KNN achieves 98.5% for hand gesture recognition on frames with successfully extracted hand keypoints, both using the 3x optical zoom lens. A geometric error analysis shows that the main KNN misclassification (44% classifying lying as waving) is caused by MediaPipes 2D to 3D coordinate lifting, not by the classifiers themself. Empirical resolution tests find the minimum detection thresholds approximately 43 pixels of body height for pose estimation and approximately 14 pixels of hand height for hand keypoint extraction. Because the hand height in wide-angle footage falls belowthis threshold beyond 15 meters, hand gesture recognition fails with the standard camera at this distance. This makes an optical zoom a mandatory requirement for reliable hand gesture recognition. Also, viewing angles above 45° reduce the classification reliability because of perspective foreshortening.