Einspieler, S. L. (2026). Zero-Shot Foundation Models for Industrial Robotics [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2026.136096
E376 - Institut für Automatisierungs- und Regelungstechnik
-
Date (published):
2026
-
Number of Pages:
115
-
Keywords:
Roboter; Palletieren; Objekterkennung
de
Robot; Palletising; object recognition
en
Abstract:
In der industriellen Paketlogistik werden zunehmend Wahrnehmungssysteme benötigt, die mit zuvor unbekannten Objekten umgehen können – eine Fähigkeit, die geschlossene, kommerzielle Bildverarbeitungssysteme nicht bieten. Zero-Shot-Foundation-Modelle liefern diese Flexibilität grundsätzlich, ihre probabilistischen, unkalibrierten Ausgaben stehen jedoch im Widerspruch zu dem vorhersagbaren, nachvollziehbaren Verhalten, das die industrielle Sicherheitsregulierung fordert. Diese Arbeit adressiert diese Lücke mit einer hybriden Methode, VeriGrasp, für vakuumbasiertes Greifen in Palettierzellen mit fest montierter Kamera: Ein Open-Vocabulary-Detektor (Grounding DINO) schlägt Kandidatenregionen vor, und eine deterministische Hülle – tiefengradientenbasierte Segmentierung, geometrische Greifkandidatengenerierung und eine Verifikationskaskade mit zwanzig Prüfungen – macht daraus nachvollziehbare Greifentscheidungen. Evaluiert wird an SynDePal, einem eigens erstellten synthetischen Benchmark aus 728 Top-down-RGBD-Palettierszenen mit exakter dreidimensionaler Ground Truth. Sechs kontrollierte Experimente mit einem prüfungsunabhängigen geometrischen Validitäts-Orakel messen Segmentierungsqualität, Greifgenauigkeit, Entscheidungsqualität, Ablation, Robustheit und Schwellenwert-Sensitivität. Die Ergebnisse zeigen, dass die Pipeline detektionslimitiert und nicht genauigkeitslimitiert ist: Was sie findet, lokalisiert sie präzise, doch der Recall auf dicht bepackten Paletten bleibt niedrig. Eine Vergleichsvariante, die die deterministische Maskenstufe durch box-gepromptete SAM-Masken ersetzt, hebt den Recall bei identischen Detektionen von 0,063 auf 0,112 – um den Preis häufigerer verschmolzener und halluzinierter Masken. Das bestätigt den Detektor als bindende Grenze und beziffert die Kosten des deterministischen Maskenpfads. Die Verifikationsschicht erhöht die Präzision der freigegebenen Griffe von 0,55 auf 0,68 bei Kosten von 21 % falsch zurückgewiesener Griffe und verwirft mehr als die Hälfte aller ungültigen Griffe; eine Teilmenge von acht der zwanzig Prüfungen erzielt diesen Effekt bei geringeren Kosten als die vollständige Schicht. Unter Blickwinkeländerung bricht die Ausbeute ein; die wenigen freigegebenen Griffe zeigen eine vergleichsweise stabile, wegen der kleinen Stichprobe aber unsichere Zuverlässigkeit. Bei dichter oder ungeordneter Stapelung sind verschmolzene Detektionen bündig stehender Pakete geometrisch nicht von einzelnen großen Paketen zu unterscheiden und passieren die Prüfung unentdeckt. Die Schwellenwert-Sensitivitätsanalyse bestätigt, dass diese Einschränkung struktureller Natur ist und nicht durch Parameteranpassung behoben werden kann. Die Arbeit leistet vier Beiträge: eine quantifizierte Fehlermodusanalyse der evaluierten, auf Grounding DINO basierenden Zero-Shot-Wahrnehmungspipeline in Palettierszenen, eine modulare deterministische Verifikationsschicht, ein reproduzierbares, orakelbasiertes Evaluierungs-Framework sowie eine explizite Zuordnung der Audit-Ausgaben der Schicht zu den Anforderungen der EU-Maschinenverordnung, des EU-KI-Gesetzes und der ISO/IEC TR 5469; diese Zuordnung benennt architektonische Voraussetzungen und stellt keine Konformitätsbewertung dar. Zusammengenommen zeigen die Ergebnisse, dass sich Open-Vocabulary-Wahrnehmung für die untersuchte, synthetisch evaluierte Klasse von Palettierszenarien mit deterministischer, nachvollziehbarer Entscheidungsfindung kombinieren lässt; zentrale Einschränkung bleibt die Verwechslung von Objektidentitäten bei dichter Stapelung.
de
Industrial parcel handling increasingly requires perception systems that operate on previously unseen objects, a capability that closed-vocabulary commercial vision systems do not provide. Zero-shot foundation models offer this flexibility in principle, but their probabilistic, uncalibrated outputs conflict with the predictable, auditable behaviour that industrial safety regulation demands. This thesis addresses the resulting gap with a hybrid method, VeriGrasp, for vacuum-based grasping in fixed-camera palletising cells: an open-vocabulary detector (Grounding DINO) proposes candidate regions, and a geometry-based pipeline – depth-gradient segmentation, geometric grasp-candidate generation, and a twenty-check verification cascade that is deterministic for fixed geometric inputs – turns these proposals into auditable grasp decisions. The method is evaluated on SynDePal, a purpose-built synthetic benchmark of 728 top-down RGB-D palletising scenes with exact three-dimensional ground truth, using a geometric grasp-validity oracle that is independent of the checks under test. Six controlled experiments measure segmentation quality, grasp-candidate accuracy, verification decision quality, check-level ablation, cross-scenario robustness, and threshold sensitivity. The results show that the pipeline is limited by detection rather than by localisation accuracy: recall on densely packed pallets remains low, while the candidates that are detected are localised accurately. A comparison variant that replaces the deterministic mask stage with box-prompted SAM masks raises recall from 0.063 to 0.112 within the same detections, at the cost of more merged and hallucinated masks – which confirms the detector as the binding constraint and quantifies the price of the deterministic mask path. The verification layer raises the precision of released grasps from 0.55 to 0.68 at a falsereject cost of 21 %, rejecting more than half of all invalid grasps, and a subset of eight of the twenty checks reproduces this effect at a lower cost than the full layer. Robustness splits along one line. Under viewpoint change, yield collapses; among the small number of released angled-view grasps, reliability shows a comparatively stable tendency, although the sample is too small for a precise category-level estimate. Under dense or disordered stacking, merged detections of flush-standing parcels are geometrically indistinguishable from single large parcels and pass the verification undetected. Threshold sensitivity analysis confirms that this limitation is structural rather than a matter of tuning. The thesis contributes a quantified failure-mode analysis of the evaluated Grounding-DINO-based zeroshot perception pipeline in palletising scenes, a modular deterministic verification layer, a reproducible oracle-based evaluation framework, and an explicit mapping from the layer’s audit outputs to the obligations of the EU Machinery Regulation, the EU AI Act, and ISO/IEC TR 5469; the mapping identifies architectural preconditions and does not constitute a conformity assessment. Together, these results demonstrate that open-vocabulary perception can be combined with deterministic, auditable decisionmaking for a synthetically evaluated class of palletising scenarios motivated by industrial requirements, while identifying object-identity confusion under dense stacking as the primary limitation for broader deployment.
en
Additional information:
Arbeit an der Bibliothek noch nicht eingelangt - Daten nicht geprüft