Cycle safely : a collision prediction system

Abstract

Diese Arbeit präsentiert den Entwurf und die Implementierung einer End-to-End-Pipeline zur Kollisionsvorhersage und -erkennung, die speziell auf Radfahrer zugeschnitten ist. Das primäre Ziel besteht darin, potenzielle Kollisionen zwischen dem Radfahrer (Ego-Agent) und anderen Verkehrsteilnehmern, insbesondere motorisierten Fahrzeugen, vorherzusagen, die aufgrund ihrer höheren Bewegungsenergie und Geschwindigkeit ein höheres Risiko darstellen. Die vorgeschlagene Pipeline integriert konventionelle Techniken für die Lösung der Teilprobleme wie Objekterkennung, Objektverfolgung und Trajektorienvorhersage. Konkret wird SFA3D für die Erkennung von 3D-Objekten verwendet, ein Kalman-Filter-basierter Multi-Objekt-Tracker für die zeitliche Zuordnung und ein auf maschinellem Lernen basierendes Modell (PRECOG) werden für die Vorhersage zukünftiger Trajektorien angepasst und trainiert. Um das Training und die Entwicklung des Vorhersagemodells zu unterstützen, wird ein synthetischer Datensatz zum Radfahren erstellt, indem die Bewegung von Radfahrern und die Interaktion mit anderen Verkehrsteilnehmern mit dem CARLA-Fahrsimulator simuliert werden. Das System wird anhand des synthetischen Datensatzes und auch anhand des realen KITTI-Datensatzes evaluiert, und zusätzliche Ablationsstudien untersuchen den Beitrag jeder Pipeline-Stufe. Experimente zeigen, dass der vorgeschlagene Ansatz in der Lage ist, zuverlässige Leistungen bei der Objekterkennung und -verfolgung zu erzielen. Dies bestätigt, dass eine solche Pipeline auch unter begrenzten Sensormöglichkeiten mit Zugang nur zu LIDAR- und GPS/IMU-Messungen möglich ist. Die Trajektorienvorhersage bleibt jedoch eine schwierige und rechenintensive Aufgabe, vor allem aufgrund des Mangels an dokumentierten und leicht einsetzbaren Open-Source-Modellen. Der Beitrag enthält auch ein Visualisierungsframework, das auf dem Rerun-Tool basiert und die interaktive Überprüfung der Zwischen- und Endergebnisse der Pipeline ermöglicht. Insgesamt bietet diese Arbeit ein praxisnahes Framework für die Erkennung von Fahrradunfällen, gibt Einblicke in die Kombination konventioneller und maschineller Lernmethoden in solchen Pipelines und ermittelt wichtige Einschränkungen und Ansatzpunkte für zukünftige Arbeiten zur Verbesserung der Trajektorienvorhersage in schwierigen Verkehrssituationen.

This thesis presents a design and implementation of an end-to-end collision prediction and detection pipeline tailored to cyclists. The primary goal is to predict potential collisions between the cyclist (ego agent) and other road users, particularly motorised vehicles, which pose a higher risk due to higher momentum and speed. The proposed pipeline integrates conventional techniques for solving the sub-tasks of object detection, object tracking, and trajectory forecasting. Specifically, Super Fast and Accurate 3D Object Detection (SFA3D) is used for the detection, a Kalman filter-based multi-object tracker for temporal association of these detections, and a machine learning-based model (prediction conditioned on goals in visual multi-agent settings) is adapted and trained for the prediction of future trajectories. CARLA driving simulator facilitates the training and development of the prediction model by creating a synthetic dataset of cycling and the interaction with other road users. The system is evaluated on the synthetic dataset and also on the real-world KITTI dataset, and additional ablation studies examine the contribution of each pipeline stage. Experiments demonstrate that the proposed approach is capable of achieving reliable performance in object detection and tracking tasks. This confirms the feasibility of such a pipeline under limited sensing capabilities, such as LIDAR and GPS/IMU measurements. However, trajectory prediction remains a difficult and computationally expensive task, primarily due to the lack of documented and easily deployable open-source models. The implementation comes with a visualisation framework, built from the Rerun tool, for interactive inspection of the pipeline’s intermediate and final results.The contribution of this thesis can be summarised by the implementation of a framework for cyclist collision detection. It offers insights into how conventional and machine learning methods can be combined into a pipeline, and key limitations and points of future work for the creation of better trajectory prediction in adverse traffic contexts are outlined.