Toward computer vision-guided responsive processes in robotic timber assembly

Abstract

The introduction of digital production in the context of architecture and design isopening up new opportunities, but also new challenges. Unlike industrial manufacturing,construction tasks are often non-repetitive and occur in unpredictable environments,making automation difficult. To bridge the gap between digital design and real-worldconditions, responsive robotic systems with real-time feedback may provide a solution,and computer vision could support such feedback in the specific context of robotic as-sembly of timber installations. This research explores the integration of structured light scanning and 3D rec-ognition into robotic assembly processes, to enhance adaptability and responsiveness, with a focus on timber construction. Through a series of incremental experiments, it in-vestigates how vision-based feedback can enable more intuitive and flexible assembly workflows. The methodology prioritizes process over product, with the aim of establish-ing a vision-based system for remote robot control and its application within adaptiveand possibly generative design strategies. The experiments demonstrate that integrating computer vision into robotic as-sembly enables real-time adaptation to spatial variation, deformation and external inter-vention. This approach not only improves precision and flexibility in timber construction but also enables to overcome major limitations inherent to robotic assembly. Further-more, it allows robots to actively participate in generative design workflows.By centralising control within Grasshopper, the system removes technical bar-riers and bridges design, planning and fabrication in a single, responsive environment. By enabling adaptive responses to real-time conditions, this research opens up new possibilities for robotic assembly in terms of the construction environment –whether for in-situ fabrication or controlled robotic laboratory – in terms of structural application – for example, introducing active bending design – or in terms of the de-sign process. It provides the basis for the development of generative, feedback-driven workflows in which structures evolve based on surrounding data and computational strategies rather than fixed design models. Additionally, it could support human-robot collaboration in which robots adjust to manual input or co-create during construction.

Die Anwendung der digitalen Produktion im Kontext von Architektur und Design eröffnet neue Möglichkeiten, aber auch neue Herausforderungen. Im Gegensatz zur industriellen Fertigung sind Bauaufgaben oft nicht repetitiv und finden in unvorhersehbaren Umgebungen statt, was die Automatisierung erschwert. Um die Brücke zwischen digitalem Design und realen Bedingungen zu schlagen, könnten reaktionsfähige Robotersysteme mit Echtzeit-Feedback eine Lösung bieten, und die Computervision könnte ein solches Feedback im speziellen Kontext der Robotermontage von Holzinstallationen unterstützen. In dieser Forschungsarbeit wird die Integration von Structured Light Scanning und 3D-Erkennung in robotergestützte Montageprozesse untersucht, wobei der Schwer-punkt auf dem Holzbau liegt, um die Anpassungsfähigkeit und Reaktionsfähigkeit zu verbessern. Durch eine Reihe von inkrementellen Experimenten wird untersucht, wie ein Vision-basiertes Feedback intuitivere und flexiblere Montageprozesse ermöglichen kann. Die Methodik stellt den Prozess über das Produkt, mit dem Ziel, ein Vision-basiertes System für die Fernsteuerung von Robotern und seine Anwendung innerhalb adaptiver und möglicherweise generativer Designstrategien zu etablieren. Die Experimente zeigen, dass die Integration von Computer Vision in die Robotermontage eine Echtzeitanpassung an räumliche Veränderungen, Verformungen und externe Einflüsse ermöglicht. Dieser Ansatz verbessert nicht nur die Präzision und Flexibilität im Holzbau, sondern ermöglicht auch die Umgehung der wichtigsten Einschränkungen, die der Robotermontage inhärent sind. Darüber hinaus ermöglicht es Robotern, aktiv an generativen Design-Workflows teilzunehmen. Durch die Zentralisierung der Steuerung in Grasshopper beseitigt das System technische Barrieren und überbrückt Entwurf, Planung und Fertigung in einer einzigen, reaktionsfähigen Arbeitsumgebung. Durch die Ermöglichung adaptiver Reaktionen auf Echtzeit-Bedingungen eröffnet diese Forschung neue Möglichkeiten für die Robotermontage in Bezug auf die Bauumgebung - sei es für die Fertigung in-situ oder in einem kontrollierten Roboterlaborin Bezug auf die strukturelle Anwendung - zum Beispiel durch die Einführung aktiver Biegekonstruktion - oder in Bezug auf den Designprozess. Es bietet die Grundlage für die Entwicklung generativer, Feedback-gesteuerter Workflows, bei denen sich Strukturen auf der Grundlage von Umgebungsdaten und Computerstrategien anstelle von festen Designmodellen entwickeln. Darüber hinaus könnte es die Mensch-Roboter-Kollaboration unterstützen, bei der sich die Roboter an manuelle Inputs anpassen oder während der Konstruktion mitgestalten.