Distinguishing conspecific bats by their echolocation calls using a convolutional neural network

Abstract

Bats use echolocation calls to perceive their surroundings. Consequently, sound measurements are often used to study them in the field. It has been shown that their calls are enough to identify the species of bat reliably, but there have been no attempts to use sounds to discriminate between individuals within the same species. In my thesis, I show that with 2 separate species (Miniopterus fuliginosus, Pipistrellus abramus) it is possible to identify conspecific individuals with a high success rate, when using a 4 layer convolutional neural network (CNN), that is trained on spectrograms of bat echolocation calls. The bats were recorded while flying alone and in pairs, with the calls collected being used as a database to train and evaluate NN models. The models themselves were analyzed using Local Interpretable Model-Agnostic Explanations (LIME), a method showing how the NN arrives at its prediction. F1 scores for classification across all experiments ranged from 0.710 to 0.983. These results indicate an individual specific cue within the echolocation calls, which with LIME was found to likely be the terminal frequency of the downward frequency-modulated calls. Change in classification performance of the NN in pair flight indicates jamming avoidance behaviour is employed by the bats.

Fledermäuse verwenden Echolokationsrufe um ihre Umgebung wahrzunehmen. Folgendermaßen wird in diesbezüglichen Forschungsarbeiten in der Natur oft auf Audioaufnahmen zurückgegriffen. In vergangenen Studien wurde gezeigt, dass die Ortungsrufe zur Diskriminierung zwischen unterschiedlichen Spezien genügen, jedoch gab es bisher keine Versuche mittels Echolokationsrufen zwischen Individuen der selben Spezies zu unterscheiden. In dieser Arbeit zeige ich, dass es bei 2 Spezien (Miniopterus fuliginosus, Pipistrellus abramus), durch Anwendung eines 4-lagigen Convolutional Neural Networks (CNN), welches mit Spektrogrammen von Fledermausrufen trainiert wurde, möglich ist, konspezifische Individuen mit einer hohen Erfolgsrate zu unterscheiden. Die Fledermäuse wurden im Einzel- und Paarflug aufgenommen, ihre Ortungslaute gesammelt und als Datenbank genutzt, um verschiedene Modelle auf Basis eines Neuronalen Netzwerks (NN) zu trainieren und evaluieren. Die Modelle selbst wurden mit Local Interpretable Model-Agnostic Explanations (LIME) analysiert, einer Methode die erklärt, aus welchem Grund das NN bei seiner Entscheidung ankommt. Die F1 Werte der Klassifikationen über alle Experimente reichen von 0,710 bis 0,983. Diese Ergebnisse weisen auf eine individuell spezifische Signatur in den Echolokationsrufen hin. Die Analyse mittels LIME legt nahe, dass diese die Endfrequenz der absteigend frequenzmodulierten Rufe ist. Änderungen der Klassifikationsperformance des NN deuten auf ein Jamming-avoidance Verhalten der Fledermäuse hin.