Machine learning for zero defect manufacturing

Abstract

The manufacturing industry makes use of valuable natural resources and regardless of having lower production costs or the environment as a main reason, better efficiency through less defects is always desired. The use of new technologies can help achieve this goal and make better use of the resources.One way of applying technology for this purpose is by visually inspecting the objects using cameras. Machine Vision and Machine Learning algorithms can be implemented to detect possible imperfections.Among the main problems for using Machine Learning for defect detection is there collection of data. Even when collecting a couple of thousands of images, this mightnot be enough to train a model from scratch and have the necessary performance to be deployed into production. Feature extraction on the other hand allows the reuse of pretrained models, which leads to better results.This work presents a training strategy in which the pretrained models are fully trainedto accommodate their parameters for the desired dataset, even when this new dataset is dissimilar to the original data for which the model was previously trained. The standard practice is to freeze the first few layers 2 to preserve the coarse feature extractions and only train the later layers which might focus on more finer details. By letting every parameter of the model be trained with a very small learning rate, similar results to the standard practice were achieved. The added value is when analyzing the activation maps of thedifferent strategies. These are then compared to annotated maps with the locations ofthe defects, which are not present during training. It was determined that training every parameter allows the model to focus more on the possible defects present in the image,making the model more interpretable.

Die verarbeitende Industrie nutzt wertvolle natürliche Ressourcen, und unabhängig davon, ob niedrigere Produktionskosten oder Umweltschutz im Vordergrund stehen, ist eine bessere Effizienz durch weniger Defekte stets erwünscht. Der Einsatz neuer Technologien kann helfen, dieses Ziel zu erreichen und die Ressourcen besser zu nutzen. Eine Möglichkeit, Technologie zu diesem Zweck einzusetzen, ist die visuelle Überprüfung der Objekte mit Hilfe von Kameras. Algorithmen für Machine Vision und Machine Learning können eingesetzt werden, um mögliche Fehler zuerkennen. Eines der Hauptprobleme bei der Verwendung von Machine Learning zur Fehlererkennung ist die Datenerfassung. Selbst wenn einige Tausend Bilder gesammelt werden, reicht dies möglicherweise nicht aus, um ein Modell von Grund auf zu trainieren und die erforderliche Leistung für den Einsatz in der Produktion zu erzielen. Feature Extraction hingegen ermöglicht die Wiederverwendung vortrainierter Modelle, was zu besseren Ergebnissen führt. Diese Arbeit stellt eine Trainingsstrategie vor, bei der die vortrainierten Modelle vollständig trainiert werden, um ihre Parameter für den gewünschten Datensatz anzupassen, selbst wenn dieser neue Datensatz nicht mit den ursprünglichen Daten übereinstimmt, für die das Modell zuvor trainiert wurde. Üblicherweise werden die ersten Schichten eingefroren 1, um die grobe Feature Extraction zu bewahren, und nur die nachfolgenden Schichten zu trainieren, die sich auf feinere Details konzentrieren könnten. Indem jeder Parameter des Modells mit einer sehr kleinen Lernrate trainiert wird, wurden ähnliche Ergebnisse wie üblicherweise erzielt. Der Mehrwert liegt in der Analyse der Activation Maps der verschiedenen Strategien. Diese werden dann mit Annotated Maps mit den Orten der Defekte verglichen, die beim Training nicht vorhanden sind. Es wurde festgestellt, dass sich das Modell durch das Training aller Parameter stärker auf die möglichen Defekte im Bild konzentrieren kann, wodurch das Modell besser interpretierbar wird.