Rusý, K. (2026). 3D-synthetic anomalies for visual inspection : from composited inserts to fully rendered datasets [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2026.139821
Machine Learning (ML) basierte visuelle Inspektion wird häufig in industrieller Produktion eingesetzt, um Anomalien in Form von Defekten oder Fremdkörpern, die die Qualität oder Sicherheit beeinträchtigen, zu erkennen. Die dabei verwendeten Trainingsdatensätze enthalten jedoch häufig nur wenige Beispiele echter Anomalien, da deren Erhebung oftmals zeitaufwendig, kostspielig oder mit Sicherheitsrisiken verbunden ist. Dies ist insbesondere bei der Gleisinspektion im Bahnwesen relevant, da Anomalien dort selten auftreten, gleichzeitig aber zu ernsthaften Problemsituationen führen können. Der Mangel an verfügbaren Beispielen echter Anomalien schränkt die Entwicklung von Modellen zur Anomalieerkennung ein. Die synthetische Erzeugung von Anomalien kann die Erstellung entsprechend gekennzeichneter anomaler Trainingsdaten erleichtern und es ermöglichen, die wenigen realen Anomalien für die Evaluierung zu reservieren. Die vorliegende Arbeit beschäftigt sich mit der Entwicklung zweier dreidimensionaler, renderbasierter Methoden zur Erzeugung synthetischer Anomalien und untersucht, ob Klassifizierungsmodelle, die mit synthetischen Daten trainiert wurden, reale Anomalien erkennen können. Die zuerst vorgestellte Methode, SYNAD, fügt gerenderte dreidimensionale Objekte in reale, anomaliefreie Aufnahmen der Gleiskörper ein. Die auf diesen Bildern trainierten binären Klassifikationsmodelle wurden anhand realer Anomalien aus dem „Nordland“-Datensatz evaluiert und mit einer aus VADAR abgeleiteten rekonstruktionsbasierten Baseline verglichen. Ein Modell, das auf einem MobileNetV2-Backbone basiert und mit den durch die vorgeschlagene Methodik generierten Daten trainiert wurde, erreichte eine Recall-Rate von 50,00% und eine False-Positive-Rate von 3,47%. Im Vergleich zur Baseline erhöhte dies die Recall-Rate um 22,09 Prozentpunkte und verringerte die False-Positive-Rate um 1,53 Prozentpunkte. Die zweite Methode erzeugt vollständig synthetische Datensätze, indem sowohl das zu inspizierende Objekt als auch die umgebende Szene gerendert werden. Binäre Klassifizierungsmodelle wurden auf den gerenderten Bildern trainiert und validiert sowie anhand realer Bilder der Kategorien Hazelnut, Screw und Pill aus dem MVTec-AD-Datensatz evaluiert. Die Klassifizierungsmodelle konnten reale Anomalien in allen drei Kategorien erkennen. Die ausschließlich anhand ihrer Leistung auf den synthetischen Validierungsdaten ausgewählten Modelle erzielten auf den realen Testdaten AUROC-Werte von 0,832 für Hazelnut, 0,754 für Screw und 0,873 für Pill. Die Validierung mit synthetischen Daten ermöglichte jedoch keine zuverlässige Identifikation der geeignetsten Konfiguration, was darauf hindeutet, dass ein separater Validierungsdatensatz mit realen Bildern die Modellauswahl für die vollständig synthetische Methode verbessern könnte. Insgesamt zeigen die Ergebnisse, dass die vorgeschlagenen Methoden zur synthetischen Erzeugung von Anomalien den Bedarf an echten anomalen Trainingsbeispielen verringern können, wobei die Synthetic-to-Real-Übertragungsleistung weiterhin von der Zielkategorie und der Modellarchitektur abhängt.
de
Machine-learning-based visual inspection is used in many industrial systems to detect anomalies, either in the form of defects or foreign objects, that can affect quality or safety. Real-world datasets, however, can have a limited number of anomalous samples, the collection of which can be time-consuming, costly, or unsafe. This is especially relevant in railway inspection, where anomalies are rare. The lack of available anomalous samples limits the development of supervised anomaly detection models. Synthetic anomaly generation can facilitate the creation of labeled anomalous training data and enable the use of limited real anomalies for evaluation. This thesis focuses on the development of two three-dimensional rendering-based methodologies for generating synthetic anomalies and investigates whether classifiers trained on synthetic data can detect real anomalies. The first method, SYNAD, inserts rendered three-dimensional objects into real anomaly-free railway images. Binary classifiers trained on these images were evaluated on real anomalies from the Nordland dataset and compared with a VADAR-derived reconstruction baseline. A model utilizing a MobileNetV2 backbone, trained on data generated by the proposed methodology, achieved 50.00% recall and a 3.47% false-positive rate. Compared with the baseline, this increased the recall rate by 22.09 percentage points and decreased the false-positive rate by 1.53 percentage points. The second methodology focuses on generating fully synthetic datasets by rendering both the object of interest and the surrounding scene. Binary classifiers were trained and validated on rendered images and evaluated on real images from the Hazelnut, Screw, and Pill categories of MVTec AD. The classifiers detected real anomalies in all three categories. Models selected using synthetic validation achieved real AUROC scores of 0.832, 0.754, and 0.873 for Hazelnut, Screw, and Pill, respectively. Synthetic validation, however, did not reliably identify the best-performing configuration, suggesting that a separate real validation set could improve model selection for the fully synthetic methodology. Overall, the results show that the proposed synthetic anomaly generation methodologies can reduce the need for real anomalous training samples, although synthetic-to-real performance remains dependent on the target category and model architecture.