Conversational agent for intelligent radio communication between firefighters and drones

Abstract

Drones are used in firefighting missions for situational awareness and reconnaissance, yet communication between ground firefighters and drone operators remains indirect and goes through a command chain that introduces delays, misinterpretation, and loss of critical real-time information. This thesis presents an end-to-end voice communication system that enables direct two-way voice communication between firefighters and drones over existing push-to-talk (PTT) radio channels, while strictly adhering to the German radio communication protocol FwDV/DV 810.The system integrates a complete pipeline consisting of speech enhancement (SepFormer),automatic speech recognition (ASR) (Whisper), rule-based protocol parsing, dialogue machine-state-based addressee resolution, transformer-based intent classification, rule-based slot extraction, deterministic protocol response generation, priority-aware trans-mission management, and text-to-speech (TTS) synthesis. The pipeline is evaluated along four research questions addressing intent classification accuracy, noise robustness, protocol compliance, and interruption correctness. Among the four evaluated transformer models fine-tuned on annotated German rescue radio communications, German Bidirectional Encoder Representations from Transformers(GBERT) achieves the best performance with 96% accuracy and a weighted F1-scoreof 0.96. Intent classification accuracy degrades gracefully under noise, retaining 89%accuracy at signal-to-noise ratio (SNR) = 10 dB despite a word error rate (WER) of 19%. The ASR confidence score proves to be a strong predictor of intent correctness(area under the receiver operating characteristic curve [AUC] = 0.902), with an optimal ASR confidence threshold of 0.854 identified via Youden’s J statistic. Radio protocol compliance reaches 100% under clean and high-SNR conditions, degrading to 82.9%–87.1% at 0 dB SNR, with all formatting rules satisfied. The urgency classifier achieves a perfect correct interruption rate of 1 and a false interruption rate of 0 across 60 test cases, correctly separating life-threatening emergency scenarios to firefighting personnel from all other findings. The results show that a rule-based modular pipeline, combined with domain-adapted transformer models, can serve as a viable foundation for autonomous drone participation in emergency radio communication, although further evaluation under real operational conditions remains necessary.

Drohnen werden bei Feuerwehreinsätzen zur Lagebeurteilung und Erkundung eingesetzt, doch die Kommunikation zwischen Bodenkräften und Drohnenpiloten erfolgt nach wie vor indirekt über eine Befehlskette, die zu Verzögerungen, Fehlinterpretationen und dem Verlust zeitkritischer Informationen führt. Die vorliegende Arbeit stellte in durchgängiges Sprachkommunikationssystem vor, dass eine direkte bidirektionale Sprachkommunikation zwischen Feuerwehrkräften und Drohnen über bestehende Push-to-Talk-(PTT-)Funkkanäle ermöglicht und dabei strikt die deutsche Funkrichtlinie FwD-V/DV 810 einhält. Das System integriert eine vollständige Verarbeitungspipeline bestehend aus Sprachverbesserung (SepFormer), automatischer Spracherkennung (ASR,Whisper), regelbasiertem Protokoll-Parsing, dialogzustandsbasierter Adressatenauflösung, transformerbasierter Intentklassifikation, regelbasierter Slot-Extraktion, deterministischer Protokollantwortgenerierung, prioritätsgesteuertem Sendemanagement und neuraler Text-to-Speech-(TTS-)Synthese. Die Pipeline wird anhand von vier Forschungsfragen evaluiert: Genauigkeit der Intentklassifikation, Robustheit gegenüber Störgeräuschen, Protokollkonformität und Korrektheit von Unterbrechungen. Unter vier evaluierten, auf annotierten deutschen Rettungsfunkkommunikationen feinabgestimmten Transformer-Modellen erzielt German BERT (GBERT) die beste Leistung mit einer Genauigkeit von 96% und einem gewichteten F1-score-Wert von 0,96. Die Intentklassifikationsgenauigkeit nimmt unter Störgeräuschen nur graduell ab und behält bei SNR=10 dB trotz einer Wortfehlerrate (WER) von 19% eine Genauigkeit von 89% bei. Der ASR-Konfidenzwert erweist sich als starker Prädiktor für die Intentkorrektheit (AUC=0,902), wobei ein optimaler Schwellenwert von 0,854 mittels Youdens J-Statistik ermittelt wird. Die Protokollkonformität erreicht unter sauberen Bedingungen und bei hohem SNR 100% und sinkt bei 0 dB auf 82,9-87,1%, bei vollständiger Einhaltung aller Formatierungsregeln. Der Dringlichkeitsklassifikator erzielt über 60 Testfälle eine perfekte korrekte Unterbrechungsrate von 1 und eine Fehlunterbrechungsrate von 0 und trennt lebensbedrohliche Notfallszenarien zuverlässig von allen übrigen Befunden. Die Ergebnisse zeigen, dass eine regelbasierte modulare Pipeline in Kombination mit domänenadaptierten Transformer-Modellen eine tragfähige Grundlage für die autonome Teilnahme von Drohnen an der Einsatzfunkkommunikation bilden kann, wenngleich eine weiterführende Evaluation unter realen Einsatzbedingungen erforderlich bleibt.