A data-driven approach to identifying spare parts suitable for additive manufacturing through the digitization of legacy engineering drawings

Abstract

In der aktuellen vierten industriellen Revolution (Industrie 4.0) werden die additive Fertigung (AM) und die Verarbeitung und Analyse heterogener Daten in einer Vielzahl von Bereichen immer wichtiger. Im Ersatzteilmanagement kann AM, auch 3D-Druck genannt, dank dezentraler Fertigung auf Abruf zahlreiche Vorteile wie reduzierte Lagerbestände und kürzere Durchlaufzeiten und damit Kosteneinsparungen erzielen. Die Verbesserung der Nachhaltigkeit ist ein weiterer potenzieller Nutzen. Allerdings sind nicht alle Ersatzteile für AM geeignet. Die Identifizierung vielversprechender Kandidaten ist eine zentrale Herausforderung bei der Einführung von AM. Aktuelle Top-Down-Auswahlansätze erfordern die Analyse riesiger Mengen heterogener Daten aus verschiedenen Quellen, wie zum Beispiel technische Teilespezifikationen, Charakteristiken der Lieferkette, Instandhaltungsüberlegungen und finanzielle Aspekte. Die mangelnde Verfügbarkeit und Qualität der Daten stellen ein Problem für solche Ansätze dar. Technische Merkmale wie Oberflächenbeschaffenheit, Abmessungen, Toleranzen, Materialart oder Gewicht sind beispielsweise in technischen Zeichnungen zu finden, doch die umfangreichen Archive in der Industrie reichen oft Jahrzehnte zurück, zu einer Zeit vor der Verbreitung von CAD-Programmen. Viele Zeichnungen sind daher nur als gescannte Bilder verfügbar. Da die ordnungsgemäße Digitalisierung von technischen Zeichnungen häufig vernachlässigt wird, sind wertvolle Informationen für die Datenanalyse unzugänglich, da ein solches unstrukturiertes Datenformat nicht direkt maschinenlesbar ist. Die menschliche Dateneingabe ist mühsam und fehleranfällig, insbesondere bei großem Datenvolumen. Dementsprechend groß ist die Nachfrage nach einer automatisierten Konvertierung von solchen Dokumentenbildern in ein strukturierteres Format. Es besteht jedoch eine Lücke zwischen den jüngsten Fortschritten in den Bereichen Computer Vision und Deep Learning und ihrer Anwendung bei der Digitalisierung von technischen Zeichnungen. Die vorliegende Arbeit zielt darauf ab, diese Lücke zu thematisieren, indem moderne Deep-Learning-Objekt- und Texterkennung mit etablierten traditionellen Bildverarbeitungs- und Mustererkennungsmethoden kombiniert werden, um unstrukturierte Daten in Form von Tabellen in alten technischen Zeichnungen im Kontext der Auswahl von für AM geeigneten Ersatzteilen zu strukturieren. Zu diesem Zweck wird neben einer gründlichen Literaturrecherche zu Industrie 4.0, AM von Ersatzteilen, Bildverarbeitung und Deep Learning ein Proof-of-Concept-Demonstrator (PoCD) vorgestellt. Der PoCD detektiert Tabellen wie zum Beispiel Schriftfeld oder Stückliste, erkennt deren Struktur und textlichen Inhalt und erstellt eine digitale Tabellenrepräsentation. Eine solche Darstellung ist maschinenlesbar und daher einfacher weiter zu verarbeiten. Zusätzlich identifiziert der PoCD technische Spezifikationen, welche für die Auswahl von 3D-druckbaren Ersatzteilen relevant sind. Darüber hinaus analysiert er die extrahierte Tabellenstruktur und den erkannten Text, um Baugruppen und Standardteile zu identifizieren, da deren Herstellung mittels AM nicht praktikabel ist. So wird die Anzahl der in Frage kommenden Teile eingeschränkt. Für den PoCD werden verschiedene Deep-Learning- und konventionelle Ansätze für die Digitalisierung von Tabellen in technischen Zeichnungen untersucht und anhand eines industriellen Anwendungsfalls evaluiert, um ihre Effizienz zu demonstrieren und zu vergleichen. Für zukünftige Arbeiten kann der vorliegende PoCD als Grundlage für die Untersuchung von AM-geeigneten Ersatzteilen dienen, indem er ansonsten nicht verfügbare Daten digitalisiert und eine erste Vorauswahl und Eliminierung ungeeigneter Teile durchführt.

In the current fourth industrial revolution (Industry 4.0), additive manufacturing (AM) and processing and analyzing heterogeneous data are becoming increasingly crucial across a wide variety of fields. In the context of spare parts management, AM, also called 3D printing, has the potential to yield advantages such as reduced inventories and shorter lead times, and in turn cost savings, by producing spare parts on demand in a decentralized manner. Improvements in sustainability are another opportunity. However, not all spare parts are suitable for AM. The identification of promising candidates is a central challenge of successfully implementing AM. Recent top-down selection approaches require analytics of vast amounts of heterogeneous data from various sources, such as technical parts specifications, supply chain characteristics, maintenance considerations, and financial aspects. A lack of data availability and quality constitutes a significant problem for such approaches. For instance, technical characteristics, such as surface quality, dimensions, tolerances, type of materials, or weight, can be found in mechanical engineering drawings. However, vast industry archives often date back decades, before the advent of computer-aided design (CAD) systems. Many drawings are hence only available as scanned images. Subsequently, as digitizing engineering drawings properly is often disregarded, valuable information is inaccessible for data analytics, given such an unstructured data format is not directly machine readable. Manual data entry is tedious and error prone, especially when dealing with large volumes of data. Accordingly, there is high demand for automated conversion of document images into a more structured format. However, there is a gap between recent advances in computer vision and deep learning and their application in the digitization of engineering drawings. The present thesis aims to address the gaps mentioned above by combining state-of-the-art deep learning object detection and text recognition with well-established traditional image processing and pattern recognition methods to structurize unstructured data in the form of tables in degraded legacy engineering drawings in the context of selection of spare parts suitable for AM. To this end, in addition to a thorough literature review on Industry 4.0, AM of spare parts, image processing, and deep learning, a proof-of-concept demonstrator (PoCD) is developed and proposed. The PoCD detects tables such as title block or bill of materials and recognizes their structure and textual content and creates a digital spreadsheet representation. Such a representation is machine readable and therefore more straightforward to process further. Additionally, the PoCD identifies technical characteristics relevant for the selection of 3D-printable spare parts. Moreover, the PoCD analyzes the recognized table structure and text, to identify standard parts and whole assemblies, as they are not viable for AM, therefore limiting the number of parts for consideration. For the prototype, several deep learning and conventional approaches for the digitization of tables in mechanical engineering drawings are investigated and evaluated on an industry use case to demonstrate and compare their efficacy. For future works, the present PoCD can serve as basis for the investigation of spare parts suitable for AM, by providing valuable data that would otherwise be unavailable and by performing an initial screening and elimination of unsuitable parts.