Streicher, D. (2018). Autonomous in hand object learning from rgb-d input with a mobile robot [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2018.53681
Diese Arbeit präsentiert einen methodischen Ansatz, um ein Objekt in einer menschlichen Hand zu modellieren. Ein großer Vorteil unserer Methode ist, dass die Modellierung in Echtzeit und ohne aufwändige manuelle Kalibrierung funktioniert. Ebenfalls kann das Objekt direkt in der Hand modelliert werden, was einen großen Vorteil in der Human Robot Interaction (HRI) bietet. Hier können Objekte direkt in der Hand des Benutzers erkannt werden, ohne dass dieser die Objekte irgendwo speziell platziert. Um das zu erreichen präsentieren wir eine Lösung zur effizienten Segmentierung der Hand und des Hintergrundes mittels einer RGB-D Kamera. Hierbei werden wir anhand des Gesichts die Hautfarbe extrahieren und anschließend damit die Hand im Bild entfernen. Danach wird das freistehende Objekt segmentiert. Anschließend verwenden wir die Vision for Robotics (V4R)-Bibliothek um die einzelnen Bilder zu einem vollständigen 3D-Modell hinzuzufügen. Am Ende unserer Arbeit werden wir anhand einiger Objekte die Effizienz demonstrieren und die Grenzen dieser Methode aufzeigen.
de
This thesis presents a full methodological approach to model objects, which are held in human hands. A major advantage of our method is, that it works in real time and does not need a complex manuel calibration. Another advantage is, that the object can be modeled inside of the users hand, which is a big advantage in HRI. That means objects can be learned without puting them in some designated place. To acheive this, we present a solution for efficient segmention of the user’s hand and the background, using an RGB-D camera. For this we will extract the skin color of the user’s face to detect the user’s hand and remove it in the image. Afterwards the object will be segmented. To combine the different views, we use V4R-Librabry to map the single images to a 3D-model. To show the efficiency of our method, we present at the end some models, which we created with our method and discuss the limits.
en
Additional information:
Abweichender Titel nach Übersetzung der Verfasserin/des Verfassers
