Object Recognition software with SAP UI5 and the SAP Digital Manufacturing Cloud

Abstract

Das Ziel dieser Arbeit ist es, eine SAPUI5-Anwendung zu entwickeln, die eine Methode des maschinellen Lernens, die Bildklassifizierung, verwendet. Zur Klassifizierung dieser Bilder wird ein Convolutional Neural Network (CNN) verwendet. Ein CNN ist ein Deep Learning-Algorithmus, der bestimmte Objekte in einem Bild von anderen unterscheiden kann. Dies wird durch entsprechendes Training der Gewichte und Verzerrungen innerhalb des Netzwerks erreicht. Deep Learning ist eine Familie von Methoden des maschinellen Lernens, bei denen das Lernen von Merkmalen in einem künstlichen neuronalen Netzwerk verwendet wird. Diese Netze werden in der Regel in Python erstellt und trainiert. Das Open-Source-Python-Paket Tensorflow with Keras von Google bietet alle Methoden, die notwendig sind, um ein benutzerdefiniertes CNN zu erstellen oder ein bestehendes Modell auf bestimmte Daten neu zu trainieren. Für diese Arbeit wird das speicher- und laufzeitoptimierte mobiletv2 in Python mit einem benutzerdefinierten Bilddatensatz aus verschiedenen Komponenten neu trainiert. Tensorflow.js von Google ist eine Open-Source-Bibliothek zur Nutzung von Machine Learning Modellen in Javascript. Dadurch können diese Modelle leicht auf jedem Gerät über den Browser verwendet werden. Tensorflow.js wird in einer SAPUI5-Anwendung verwendet, um das CNN-Modell innerhalb der SAP-Umgebung zu nutzen.Die Anwendungsfälle für das Bildklassifizierungsnetzwerk innerhalb logistischer Prozesse werden definiert. Dazu gehört eine Basisanwendung zur Suche von Materialstammdaten anhand eines Bildes des Bauteils. Eine weitere Anwendung eines solchen Netzwerks im SAP-Umfeld ist die Integration in die SAP Digital Manufacturing Cloud Lösung. Die Implementierung einer Manufacturing Execution Anwendung mit Hilfe eines Bildklassifikationsnetzwerkes wird in dieser Arbeit beschrieben. Die dazu notwendigen Grundlagen werden erläutert. Zudem wird die Auswahl der Entwicklungsumgebung beleuchtet. Schließlich werden die Ergebnisse der zu Implementierenden Anwendungsfälle erläutert und bewertet.

The aim of this thesis is to develop a SAPUI5 Application that utilizes a Machine Learning method called image classification. To classify these images a Convolutional Neural Network (CNN) is used. A CNN is a Deep Learning algorithm, which can differentiate certain objects in an image from another. This is achieved by training weights and biases inside the network accordingly. Deep Learning is a family of machine learning methods utilizing feature learning in an Artificial Neural Network. These Networks are usually built and trained in Python. The open-source Python Package Tensorflow with Keras by Google provides all the methods necessary to build a custom CNN or retrain an existing model to specific data. For this thesis the storage and runtime optimized mobilenetv2 is retrained in Python with a custom image dataset of different components. Tensorflow.js by Google is an open-source library to utilize Machine Learning models in Javascript. This makes these models easily usable on any device via the browser. Tensorflow.js is used in a SAPUI5 application to utilize the CNN model within the SAP environment.The use cases for the image classification network within logistic processes are defined. A basic application to search for material master data using an image of the component. Further application of such a network within the SAP environment is the integration into the SAP Digital Manufacturing Cloud solution. The implementation of a Manufacturing Execution application aided by an image classification Network is described in this thesis. The necessary basics are explained. The selection of the development environment is also highlighted. Finally, the results of the use cases to be implemented are explained and evaluated.