Vision-based anomaly detection for railroad systems

Abstract

Railroad systems play an essential role in the transportation of people and goods in today’s society worldwide The rail sector contributes to society in multiple ways besides transporting, including jobs, innovation, and industrial growth [Transforming EU Rail System]. Furthermore, combined road and rail transportation can significantly reduce emissions and operating costs compared to road-only transportation [pinto 2018 rail Climate]. Due to the wear-out ofthe railroad infrastructure and other damages, maintenance of the infrastructure is necessary to ensure the safe andreliable transportation of people and goods [andersson 2010 wear, rossetti 2002 climate]. During the last decades,the progress in Neural Network (NN)-based algorithms [Computer Vision Deep NN] and increases in computational power [Review Machine Vision] enabled the usage of machine vision systems in several application domains like robotics, medical application, manufacturing and production, and security surveillance [Machine Learning In Computer Vision,Esteva 2021, MV Industry, security Surveillance]. Anomaly detection refers to the task of recognizing data and patterns that deviate significantly from some concept of normality or expected behavior [AUnifying Review Of Deep And Shallow Anoma Anomaly Detection A Survey]. In many real-world applications, no or only a small number of labeled anomalous data is available [A Unifying Review Of Deep And Shallow Anomaly Detection]. This thesis aims to develop an image-based anomaly detection algorithm for rail tracks to detect rail damages, foreign objects, and heavy vegetation on the trackbed without relying on anomalies in training data. For the training and evaluation of the proposed algorithm, a dataset consisting of grayscale images taken from a bird’s-eye view perspective by a monochrome camera is used. Since this camera system is mountable on regular trains, this could pose a cost-effective approach for an automated railroad inspection system. The proposed Vision-based Anomaly Detection Algorithm for Railroads (VADAR) algorithm consists of three Autoencoders (AEs), a rail segmentation network, and a One-Class Classifier (OCC) to detect anomalies on the trackbed and rails. Utilizing these networks enables VADAR to lower the number of false positives resulting from the graveland relatively rare infrastructure elements like switch-frogs or attachments to the rails and crossties. The experimental results in this thesis show that VADAR can detect trackbed anomalies with sizes down to roughly 10,000 mm2 with a recall rate of more than 51% while achieving a false positive rate of 4.8%. Rail damages with sizes down to roughly 100 mm2 were detected with a recall rate of more than 53% while maintaining a false positive rate of less than 4.2%. The detection method of VADAR allows a trade off between the recall rate and false positive rate to adjust for the needs of aspecific task. The experiments also show a strong positive correlation between the size of anomalies and the recall rate.VADAR can detect certain trackbed anomalies larger than roughly 20,000 mm2 with up to 100% while maintaining a false positive rate of 5.3%. This thesis also includes a comparison of VADAR with a state-of-the-art approach. VADAR’s recall rate, accuracy, and false positive rate out perform this approach’s results while also enabling the detection of signifi-cantly smaller anomalies like rail damages. This algorithm demonstrates that a vision-based anomaly detection system utilizing only one camera mounted on regular trains could potentially be used for an automated railroad inspection system. Since VADAR can detect even small rail damages, further developments might enable VADAR to be used forthe predictive maintenance of rail tracks.

Eisenbahnsysteme spielen weltweit eine wesentliche Rolle bei der Beförderung von Personen und Gütern [1, 2, 3, 4, 5, 6].Der Eisenbahnsektor leistet einen vielfältigen Beitrag zur Gesellschaft, u. a. auch in Form von Arbeitsplätzen, Innovation und industriellem Wachstum [3]. Außerdem kann der kombinierte Straßen- und Schienentransport die Emissionenund Betriebskosten im Vergleich zum reinen Straßentransport erheblich senken [7]. Aufgrund der Abnutzung der Eisenbahninfrastruktur und auftretenden Schäden ist die Instandhaltung der Infrastruktur notwendig, um den sicheren und zuverlässigen Transport zu gewährleisten [8, 9]. In den letzten Jahrzehnten haben die Fortschritte bei den auf neuronalen Netzen basierenden Algorithmen [10] und die Zunahme der Rechenleistung [11] den Einsatz von Bildverarbeitungssystemen in Anwendungsbereichen wie Robotik, Medizin, Fertigung sowie Überwachungssystemen ermöglicht [12, 13,14, 15]. Eine der Anwendung befasst sich mit der Anomaliedetektion, also dem Erkennen von Daten und Mustern, dievon einem Konzept der Normalität abweichen [16, 17]. In vielen Anwendungen sind keine oder nur wenige annotierte Anomalie-Daten verfügbar [16]. Ziel dieser Arbeit ist es, einen bildbasierten Algorithmus zur Erkennung von Anomalien im Gleisbereich zu entwickeln, um bspw. Schienenschäden und Fremdkörper zu erkennen, ohne auf Anomalien in denTrainingsdaten angewiesen zu sein. Für das Training und die Evaluierung des vorgeschlagenen VADAR-Algorithmus wird ein Datensatz verwendet, der aus Graustufenbildern besteht, die von einer Monochromkamera aus der Vogelperspektive aufgenommen wurden. Da dieses Kamerasystem auf regulären Zügen montiert werden kann, könnte dies einen kosteneffektiven Ansatz für ein automatisiertes Eisenbahninspektionssystem darstellen. VADAR besteht aus dre iAutoencodern, einem Schienensegmentierungsnetzwerk und einem One-Class Classifier zur Erkennung von Anomalien am Gleisbett und auf den Schienen. Diese Netzwerke ermöglichen es VADAR, Fehlalarme zu reduzieren, die durch Schotter und Infrastrukturelemente wie bspw. Weichenherzen entstehen. Die Ergebnisse in dieser Arbeit zeigen, dass VADAR Gleisbettanomalien bis zu einer Größe von etwa 10.000 mm2 mit einer Recall-Rate von mehr als 51% und einerFalse-Positive-Rate von 4,8% erkennen kann. Schienenschäden bis zu einer Größe von ca. 100 mm2 wurden mit einer Recall-Rate von mehr als 53% bei einer False-Positive-Rate von weniger als 4,2% erkannt. VADAR ermöglicht den Kompromiss zwischen Recall- und False-Positive-Rate, um an Spezifikationen einer Anwendung anzupassen. Die Experimente zeigen eine starke Korrelation zwischen der Größe der Anomalien und der Recall-Rate. VADAR kann bestimmte Anomalien die größer als ca. 20.000 mm2 sind, mit bis zu 100% erkennen, während die False-Positive-Rate bei 5,3% liegt.Diese Arbeit zeigt auch einen Vergleich von VADAR mit einem State-of-the-Art Ansatz. Sowohl Accuracy als auchRecall- und False-Positive-Rate von VADAR übertreffen die Ergebnisse dieses Ansatzes und ermöglichen die Erkennung von deutlich kleineren Anomalien — wie zum Beispiel Schienenschäden. Diese Arbeit zeigt, dass ein bildbasiertes System zur Anomaliedetektion, mit nur einer an regulären Zügen angebracht Kamera, potenziell für ein automatisiertes Eisenbahninspektionssystem verwendet werden kann und interessant für Predictive Maintenance sein könnte.