Tramberger, T. (2021). Robot-based 3D reconstruction using structure from motion - extending the inline computational imaging system to a robotic arm [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2021.80624
E376 - Institut für Automatisierungs- und Regelungstechnik
-
Date (published):
2021
-
Number of Pages:
68
-
Keywords:
Roboter; Bildverarbeitung; Rekonstruktion
de
Robot; Computer Vision; Structure from Motion; reconstruction
en
Abstract:
Um den heute hohen Standards der Industrie gerecht zu werden, werden vermehrt computergestütze Bildverarbeitungssysteme zur Qualitäts kontrollen integriert. Diese müssen sehr schnell erfolgen um den Fertigungsprozess nicht zu verlangsamen. Um diesen Anforderungen gerecht zu werden hat das Austrian Institute of Technology (AIT) das Inline Computational Imaging system (ICI) entwickelt. Das ICI ist ein monokulares, skalierbares Framework das mit vielen Industriekameras kompatibel ist. Das System ist jedoch auf den Einsatz mit einer synchronisierten Linearbühne beschränkt welche die Bildaufnahme in einem linearen Pfad und identen Aufnahmeabstand garantiert.In dieser Arbeit wird der Einsatz des ICI auf die Anwendung mittels Roboterarme erweitert. Dies bringt viele Vorteile mit sich, beispielsweise das Scannen von Oberflächen großer Objekte die nicht auf einer Linearbühne positioniert werden können. Die Bewegung einer Kamera mittels Roboterarm ist jedoch mit vielen Vibrationen und Ungenauigkeiten verbunden. Es ist zu vermuten,dass ein direkter Einsatz nicht möglich ist.Um die Kompatibilität zu bewerkstelligen müssen die Aufnahmen in die geforderte Anordnung transformiert werden. Dazu werden zwei Ansätze verfolgt:im ersten Ansatz werden die Poseninformation verwendet um die Bilder zu rektifizieren. Da die Positionsinformation der Bilder des Roboterarms zu ungenau sind, werden diese anhand der Bilddaten mittels grenzgebundener Bündelausgleichung (Bound Constraint Bundle Adjustment) optimiert. Inder zweiten Methode wird eine perspektivische Transformation zwischen neu aufgenommenen und vorigem Bild geschätzt um das neue Bild zu rektifiziert.Um die Abstände konstant zu halten werden Merkmale auf mehreren Bildern gefunden und zur Kompensation verwendet.Die Evaluierung der Rektifierzungsprozesse zeigt eine deutliche Verbesserung der vertikalen Parallaxe mit beiden Ansätzen mit einem Mittelwert im Subpixelbereich. Die Evaluierung der Punktwolken bestätigen die Verbesserung, die Rekonstruktionen weichen deutlich weniger vom Vergleichswert ab und zeigenoptisch eine höhere Qualität.
de
To meet today’s high industry standards, computer vision systems are increasingly being integrated for quality control. These inspections must be carried out very quickly in order to not to slow down the production process. To meet these requirements, the Austrian Institute of Technology (AIT) has developed the Inline Computational Imaging system (ICI). The ICI is a monocular, scalable framework that is compatible with many industrial cameras. The system islimited to the use with a synchronized linear stage that guarantees image acquisition in a strict linear path and identical distance between images.In this work, the ICI framework is extended for the use with a robotic arm.This brings many advantages, for example scanning surfaces of large objects that cannot be positioned on a linear stage. However, moving a camera with arobotic arm involves vibrations and in accuracies. Therefore, it is expected thata direct application is not possible.To achieve compatibility, the images must be transformed into the required arrangement. Two approaches are followed: in the first approach, the pose information is used to rectify the images. Since the position information ofthe robotic arm do not meet the required accuracy, they are optimized based on the image data using bound constrained bundle adjustment. In the second method, a perspective transformation is applied between the newly acquired image and the previous image to obtain the required arrangement. Feature tracks are used to keep the disparity at a constant.The evaluation of the rectification processes shows a clear improvement of the vertical parallax via both approaches with a mean parallax in the subpixelrange. The evaluation of the reconstruction confirms the improvement. Both approaches show a signification increase of quality of the resulting point clouds compared to the original images. The reconstructions deviate significantly less from the ground truth and show higher optical quality.
en
Additional information:
Abweichender Titel nach Übersetzung der Verfasserin/des Verfassers