Analyse des Balztanzes des Golden-Collared Manakin von Videos

Abstract

Die Goldbandpipra (Manacus vitellinus, engl. golden-collared manakin) ist eine tropische Vogelart, bei der die Männchen akrobatische Balztänze aufführen. Um verschiedene Balztänze zu vergleichen, filmte ein Team von Biologen die Vögel in freier Wildbahn mit Hochgeschwindigkeitskameras. Um den Balztanz zu analysieren müssen die Vögel zuerst getrackt werden, um anschließend das Verhalten zu klassifizieren und schließlich zu visualisieren. Das manuelle Labeln jedes Einzelbilds in studenlangem Videomaterial ist ein sehr zeitintensiver Vorgang. Automatisches Tracking und Verhaltenserkennung ermöglichen eine schnellere Analyse von Videos, die monatelanges Annotieren ersparen kann. In dieser Arbeit präsentieren wir einen umfassenden State-of-the-Art Report, analysieren die Herausforderungen der Manakin-Videos und präsentieren einen Tracker (ManakinTracker), der die spezifischen Herausforderungen der Manakin-Videos bewältigen kann. Basierend auf der Trajektorie erkennen und visualisieren wir das Verhalten des Vogels während des Balztanzes. Die Manakin-Videos stellen verschiedene Herausforderungen an visuelles Tracking und automatische Verhaltenserkennung. Die schnelle und abrupte Bewegung des Vogels führt zu starken Bewegungsunschärfen und ist schwer vorherzusagen. Das Aussehen des Vogels ändert sich stark. Zusätzlich ähnelt der Hintergrund optisch dem Vogel und verdeckt ihn ganz oder teilweise. Der ManakinTracker findet potenzielle Boundingboxen mittels Hintergrundsubtraktion, modelliert das Erscheinungsbild des Vogels mit einem neuronalen Netzwerk und lernt ein Bewegungsmodell. Der ManakinTracker kann erkennen, wenn der Vogel das Bild verlässt und ihn wieder erkennen sobald er wieder im Bild erscheint. Basierend auf der Trajektorie identifizieren wir typische Verhaltensweisen des Vogels: Hocken, Springen, “Beard-up”-Pose und Flügelschlag. Das Verhalten wird auf zwei Arten visualisiert. Wir vergleichen unseren Tracker mit 11 state-of-the-art Trackern in Bezug auf Robustheit und Genauigkeit und analysieren Fälle in denen das Tracking fehlschlägt.

The golden-collared manakin (Manacus vitellinus) is a tropical bird species, in which the male performs an acrobatic displays to court mates. To be able to compare different courtship displays and better understand the courtship dance, biologists recorded the birds in the wild with high-speed cameras. To analyze the courtship dance the birds need to be first tracked, so that the behavior can be classified, and finally visualized. Manually labeling every frame in hours of video material is a time-consuming process. Automatic tracking and behavior recognition enables faster analysis of videos, which would save human annotators months of work. In this thesis, we present a thorough state-of-the-art review and highlight the challenges of the manakin videos. The manakin videos present several challenges for visual tracking and behavior recognition. The birds rapid and abrupt movement causes strong motion blur and is hard to predict. The birds appearance changes strongly. Additionally, background clutter visually resembles and occludes the bird. The ManakinTracker is a visual long-term tracker designed to handle the challenges of the manakin videos. The ManakinTracker finds potential bounding boxes with background subtraction, models the birds appearance with a convolutional neural network and learns a motion model. It is able to detect the bird moving out of the frame and re-detect it. Based on the trajectory obtained through the ManakinTracker, we identify the birds typical courtship behaviors: perching, jumping, beard-up posture, and wing-snap. The behavior is then visualized by plotting the trajectory and in a sequence plot. We compare our tracker to 11 state-of-the-art trackers in terms of robustness and accuracy and perform an analysis of tracking failures.