Integrated planning and optimization framework for robotic visual inspection

Abstract

Flexible, high-mix manufacturing demands inspection systems that plan not only for geometric coverage, but also for measurement quality and executable robot motion. This dissertation develops an integrated, model-based framework for discrete robotic visual inspection that couples viewpoint generation, quality-aware evaluation, kinematic feasibility, and trajectory optimization within a single planning pipeline. Starting from CAD-derived surface meshes and pinhole sensor models, viewpoint candidates are generated by direct surface sampling using Poisson disc sampling, with hyperparameter tuning performed via Bayesian optimization. To move beyond the classical visibility matrix, the framework introduces a spatial-resolution-aware sampling density matrix that enforces target sampling density over non-uniform meshes. Moreover, a photometric visibility matrix is introduced that embeds material reflectance through Blinn-Phong and Cook-Torrance bidirectional reflectance distribution functions (BRDFs), excluding saturated or underexposed regions. Kinematic executability is addressed by a pose-refinement strategy that uses Bayesian optimization to transform infeasible inspection poses into feasible ones while preserving coverage properties. Planning is completed by formulating the set coverage generalized traveling salesman problem (SCGTSP) as an integer linear program that jointly selects one configuration per optimal inspection pose and orders the resulting tour under collision and workspace constraints. The approach is validated in synthetic and real experiments with 3-DoF, 6-DoF, and 8-DoF systems across diverse geometries and materials. Results show improved coverage with fewer optimal viewpoints, adherence to prescribed spatial resolution, and reduced inspection time compared to state-of-the-art methods that adopt sequential approaches. The framework is sensor-agnostic and compatible with standard industrial toolchains, providing a rigorous and scalable foundation for automated quality inspection in modern production environments.

Flexible Fertigung mit hoher Variantenvielfalt erfordert Inspektionssysteme, die nicht nur die geometrische Abdeckung, sondern auch die Messqualität und ausführbare Roboterbewegungen berücksichtigen. Diese Dissertation entwickelt ein integriertes, modellbasiertes Rahmenwerk für die diskrete visuelle Roboterinspektion, das die Erzeugung von Sichtpunkten, die qualitätsorientierte Bewertung, die kinematische Durchführbarkeit sowie die Trajektorienoptimierung in einer einheitlichen Planungspipeline miteinander verknüpft. Ausgehend von CAD-abgeleiteten Oberflächennetzen und Lochkameramodellen werden Sichtpunktkandidaten durch direkte Oberflächenabtastung mittels Poisson-Disc-Sampling und Hyperparametereinstellung durch Bayessche Optimierung generiert. Um über die klassische Sichtbarkeitsmatrix hinauszugehen, führt das Rahmenwerk (i) eine auf die räumliche Auflösung bezogene Abtastdichtematrix ein, die eine Zieldichte auf variabel aufgelösten Netzen erzwingt, und (ii) eine photometrische Sichtbarkeitsmatrix, die Materialreflexion über Blinn-Phong und Cook-Torrance Bidirectional Reflectance Distribution Functions (BRDFs) modelliert, um gesättigte oder unterbelichtete Bereiche auszuschließen. Die kinematische Ausführbarkeit wird durch eine Verfeinerungsstrategie der Inspektionsposen adressiert, die mittels Bayesscher Optimierung nicht ausführbare Inspektionsposen in ausführbare überführt, ohne die Abdeckungseigenschaften zu beeinträchtigen. Die Planung schließt mit der Formulierung des Set Coverage Generalized Traveling Salesman Problem (SCGTSP) als ganzzahliges lineares Programm, das jeweils genau eine Konfiguration pro optimaler Inspektionspose auswählt und die resultierende Tour unter Berücksichtigung von Kollisions- und Arbeitsraumrestriktionen optimiert. Der vorgeschlagene Ansatz wird in synthetischen und realen Experimenten mit Systemen mit 3, 6 und 8 Freiheitsgraden über unterschiedliche Geometrien und Materialien validiert. Die Ergebnisse zeigen eine verbesserte Abdeckung bei reduzierter Anzahl optimaler Sichtpunkte, die Einhaltung der vorgegebenen räumlichen Auflösung sowie verkürzte Inspektionszeiten im Vergleich zu sequentiellen Verfahren des Stands der Technik. Das entwickelte Rahmenwerk ist sensorunabhängig und kompatibel mit gängigen industriellen Toolchains und bietet eine wissenschaftlich fundierte und skalierbare Grundlage für die automatisierte Qualitätsprüfung in modernen Produktionsumgebungen.