Design and evaluation of a deep learning-based UAV detection and tracking system for robotic telescopes

Abstract

Unbemannte Luftfahrzeuge (ULF) gewannen im letzten Jahrzehnt immens an Popularität aufgrund ihrer Vielseitigkeit und den diversen möglichen Anwendungsbereichen. Die einfache öffentliche Zugänglichkeit und die teils simple Steuerung der Drohnen führte zu einem Anstieg an Vorfällen, bei denen es durch den Einsatz von Drohnen zur Gefährdung der öffentlichen Sicherheit bzw. von kritischer Infrastruktur kam. Als Reaktion darauf wird erheblicher Aufwand in der Forschung und Entwicklung von Drohnen-Erkennungs-, Verfolgungs-, und Identifizierungssystemen betrieben, um eine frühzeitige Gefahrenerkennung und Bewertung einer herannahenden Bedrohung aus der Luft zu ermöglichen. Typische Drohnendetektionssysteme kombinieren verschiedene Sensoren, wie Radar, LiDAR, Akustik, Funk und elektrooptische Detektion, wobei letzteres eine Schlüsselkomponente ist, da visuelle Bilder für einen menschlichen Bediener leicht und schlüssig interpretierbar sind. Eine große Reichweite ist für den erfolgreichen Einsatz eines optischen Systems entscheidend, da sie die rechtzeitige Identifizierung von Objekten ermöglicht. Konventionelle Lösungen sind jedoch limitiert in der Reichweite. Aufgrund der schnellen Drohnengeschwindigkeiten, bleibt beim Einsatz von aktuellen elektrooptischen Systemen nur eine kurze Zeitspanne zwischen der Aufnahme eines aufschlussreichen Bildes und dem Eintreffen der Drohne in einen geschützten Bereich, um entsprechende Gegenmaßnahmen einzuleiten. Im Laufe dieser Arbeit wird ein System entwickelt, welches die Einsatzreichweite von optischen Systemen, die im Speziellen mikro- und mini Drohnen detektieren sollen, deutlich erweitert. Für diesen Zweck werden reflektierende Teleskope eingesetzt, die durch ihre langen Brennweiten und großen Aperturen eine hohe Auflösung ermöglichen. Das relativ schmale Blickfeld des Systems bringt jedoch Herausforderungen beim Verfolgen von schnellen und agilen Drohnen mit sich. Daher wird eine parallele Architektur implementiert, welche eine Kollaboration zwischen einem Deep Learning basierten Objekt Detektor mit einem konventionellen Objekt Tracker ermöglicht, um mit bis zu 100 fps Drohnen zu detektieren und zu verfolgen. Diverse Algorithmen werden auf einem eigenen Drohnendatensatz trainiert und verschiedene Kombinationen aus Detektoren und Trackern getestet. Des Weiteren ist ein proprietärer automatischer Fokus implementiert und in die parallele Architektur integriert worden, um eine scharfe Abbildung der Drohne zu gewährleisten. Die Detektions-, Tracking- und Fokussierfähigkeiten des Teleskopsystems werden durch umfangreiche Feldtests, welche diverse Drohnentypen und realitätsnahe Einsatzszenarien abdecken, getestet. Abschließend wird ein Prototyp entwickelt, der eine laserbasierte Distanzmessung in ein Teleskopsystem integriert, um die Distanz in Echtzeit von mehreren Objekten zu messen. Ziel dieser Arbeit ist es, den optischen Erfassungsbereich für kleine Drohnen deutlich zu erhöhen, indem ein teleskopbasiertes System entwickelt und umfassend getestet wird. Ein ganzheitliches System wird entworfen, das alle notwendigen Einzelkomponenten integriert, die zum Erfolg der geplanten Anwendung beitragen. Es wird demonstriert, dass Drohnen mit einem Durchmesser von 0.3 m bis zu 4 km weit detektiert und verfolgt werden können. Die implementierte parallele Architektur ermöglicht eine Kollaboration zwischen einem FRCNN Objekt Detektor und einem MedianFlow Tracker, um Drohnen mit 100 fps zu verfolgen. Der eigens entworfene automatische Fokus hält heranfliegende Drohnen bis zu einer minimalen Distanz von 150 m im Fokus, selbst bei Drohnengeschwindigkeiten von 24 m/s. Ein prototypisches Lasersystem zur Distanzmessung ist zusätzlich in ein kleines Teleskopsystem integriert, welches die Distanz zu vier Objekten mit jeweils 14 Hz pro Objekt vermessen kann.

Unmanned aerial vehicles (UAV)s have gained immense popularity over the past decade primarily due to their remarkable versatility and diverse fields of application. However, public availability and the ease of use has led to a soaring increase of UAV related incidents endangering people and critical infrastructure. In response, a significant effort is made in research and development of UAV detection, tracking and identification systems in order to facilitate an early threat assessment. Typical systems combine multiple sensors, such as radar, LiDAR, acoustics, radio frequency detection and electro-optics, with the latter being a key component as visual imagery is easily and conclusively interpretable for a human operator. A long operational range is crucial for a successful application of an optical system as it enables timely object identification. However, conventional camera-based solutions are limited with respect to the operational distance. Considering the fast speeds UAVs can achieve, current electro-optical systems leave very little reaction time to the operators once a clear image of the UAV is obtained up to the moment it reaches a prohibited or protected area. Throughout this thesis the endeavour to increase the optical operational range, especially for the detection of micro and mini UAVs, is elaborated. For this purpose, the usage of reflective telescopes is proposed, which enable long focal lengths and large apertures, while simultaneously retaining relatively lightweight system characteristics compared to camera lenses with similar specifications. However, the narrow field of view imposes challenging demands onto the system components to successfully track fast and agile UAVs. Hence, a sophisticated parallel architecture is implemented, which combines a deep learning-based object detector with a conventional object tracker through a dedicated transition strategy, to ensure fast and reliable object detection and tracking at 100 fps. Various algorithm combinations are trained, compared and tested on a custom UAV dataset, which is created throughout this thesis, to find the best performing combination. Furthermore, a high-speed automatic focus is implemented and incorporated into the parallel architecture, to keep fast UAVs in focus. The telescope system is tested for its detection, tracking and focusing capabilities during multiple field tests, which include different types of UAVs and backgrounds resembling authentic scenarios. Finally, methods are explored to integrate a laser-based distance measurement for multiple objects into a telescope system. This thesis strives to improve the optical detection range for small UAVs by implementing and demonstrating a telescope-based system capable of long-range UAV detection. A holistic system is designed including all necessary individual components, which contribute to the success within the intended application. It has been demonstrated that a UAV with the size of 0.3 m in diameter can be detected and tracked up to distances of 4 km. Using a dedicated parallel software architecture, which facilitates a collaboration between an FRCNN object detector together with a MedianFlow tracker, detection and tracking of UAVs at 100 fps is enabled. The complementary implemented automatic focus keeps the UAV in focus down to distances of 150 m even at UAV speeds of 24 m/s. Finally, a prototypic laser system, which is integrated into a small telescope, measures the distance to four UAVs at 14 Hz per object to determine the 3D localization of the UAV.