Tracking and re-identification of dairy cows

Abstract

Small-scale dairy farming, particularly prevalent in alpine regions like Austria and Switzerland, faces significant challenges, including labor-intensive conditions and financial constraints that hinder the adoption of advanced technologies. This thesis explores the application of computer vision techniques as a cost-effective solution to alleviate these challenges by automating certain monitoring tasks. Specifically, the work focuses on developing and implementing systems for cattle object detection, tracking, and re-identification (re-ID), tailored to the unique conditions of small-scale farms. In contrast to existing models trained on public datasets with top-down dorsal views, this thesis investigates the application of re-ID models on heterogeneous data that includes cow images from different perspectives.To do so, a Real-Time Object Detector (RTMDet) is trained using custom data to accurately identify cows in different farm environments. This detector is integrated with a tracking system to monitor cow movements over time. A viewpoint estimation model, based on convolutional neural networks (CNNs), is also developed for selecting heterogeneous images from tracks that show cows from different angles, as well as enhancing the performance of subsequent re-ID tasks.The primary focus of this thesis is on visually identifying cow individuals. Two approaches are explored: A fully supervised method using labeled data and a weakly supervised method that leverages unlabeled image sequences – tracks – depicting individual cows. For the supervised approach, state-of-the-art training schemes, previously successful in person re-ID, are employed, achieving a mean Average Precision (mAP) score of 0.74. While the weakly supervised approach achieves a lower mAP of 0.65, it shows promise in reducing the need for costly and labor-intensive manual data annotation.

Kleinstrukturierte Milchviehbetriebe, insbesondere in den Alpenregionen Österreichs und der Schweiz, stehen vor erheblichen Herausforderungen. Harte Arbeitsbedingungen und finanzieller Druck erschweren den Einsatz von neuen Technologien. Zur Minderung dieser Probleme wird der Einsatz von Computer-Vision-Technologien und maschinellem Lernen untersucht, um die computergestützte Erkennung, Verfolgung und Identifizierung von Rindern zu ermöglichen – eine wichtige Voraussetzung zur zukünftigen Verhaltensklassifikation. Konkret konzentriert sich die Arbeit auf die Entwicklung und Implementierung von Systemen zur Objekterkennung, -verfolgung und -wiedererkennung (re-ID) von Rindern, die auf die besonderen Bedingungen von kleinstrukturierten Betrieben zugeschnitten sind. Im Gegensatz zu bestehenden Modellen, die auf öffentlichen Datensätzen trainiert wurden, welche lediglich den Rücken der Kühe (Vogelperspektive) zeigen, untersucht diese Arbeit die Anwendung von re-ID-Modellen auf heterogene Daten mit Bildern von Kühen aus verschiedenen Perspektiven.Ein Real-Time Object Detector (RTMDet) wird mit eigenen Daten trainiert, um Kühe in unterschiedlichen landwirtschaftlichen Umgebungen im Bild zu lokalisieren. Dieser Detektor wird in ein Trackingsystem integriert, um die Bewegungen der Kühe über die Zeit zu überwachen. Zusätzlich wird ein Convolutional Neural Network (CNN) Modell entwickelt, das die räumliche Orientierung der Kühe vorhersagt, um heterogene Bilder aus den Tracks auszuwählen, die Kühe aus verschiedenen Blickwinkeln zeigen und die Performance der nachfolgenden re-ID-Tasks zu verbessern.Im Fokus steht die Wiedererkennung einzelner Kuh-Individuen. Es werden zwei re-ID-Ansätze untersucht: Ein Supervised Learning Ansatz unter Verwendung von Trainingsdaten mit konkreter Bild-Kuh-Zuordnung und ein Weakly Supervised Ansatz, der unannotierte Tracks -– Videosequenzen, die ein einzelnes Kuhindividuum zeigen – nutzt. Für den Supervised Learning Ansatz werden verschiedene Trainingsmethoden evaluiert, die sich im Bereich der Personen re-ID bewährt haben. Der Supervised-Ansatz erreicht einen Mean Average Precision (mAP) Wert von 0,74, während der Weakly-Supervised-Ansatz einen mAP von 0,65 erzielt, jedoch Potenzial zur Reduzierung aufwendiger manueller Datenannotation zeigt.