Object detection and flightpath prediction : a parallelized approach using a graphics processing unit

Abstract

Das vermehrte Verlangen nach individuellen Produkten steigert den Bedarf an flexibleren Produktionslinien. Ein zukunftsweisendes System hierfür könnte der -Wurftransport-Ansatz- sein, bei dem sich Roboterarme die zu transportierenden Güter gegenseitig zuwerfen. Obwohl auf diesem Gebiet schon viel geforscht wurde, ergab sich bis dato noch keine völlig zufriedenstellende Lösung für dieses Transportsystem. Ein neuer, biologisch inspirierter Ansatz könnte die Antwort auf dieses Problem darstellen. Wenngleich dieses System bereits hinsichtlich seiner Genauigkeit untersucht wurde, so ist die Erforschung seiner Echtzeitfähigkeit noch ausständig. Diese Arbeit zeigt, dass die Detektion des Balls und die Vorhersage seiner Flugbahn schnell genug durchführbar sind, um das Kamerasystem bei einer Bildwiederholungsrate von 130 FPS arbeiten lassen zu können. Mit Hilfe einer NVidia GTX 560 Ti GPU ist es möglich gewesen, alle nötigen Berechnungen hierfür, in durchschnittlich, unter 7,7 ms durchzuführen. Für Bildwiederholungsraten von über 85 FPS wird jedoch ein Puffer benötigt, der selten auftretende Rechenzeiten von bis zu 11,7 ms kompensiert. Darüber hinaus zeigen die Resultate ebenso ein um das 3,46- bis 7,17-fach schnellere Ausführen des implementierten Programmes, wenn anstelle einer CPU eine GPU, für die nötigen Berechnungen, verwendet wird. Basierend auf diesen Resultaten können nun weitere Forschungen angestellt werden, um die Zuverlässigkeit und mögliche Einschränkungen des Systems zu untersuchen. Etwaige zukünftige Programmänderungen, im Zuge weiterer Forschungen, könnten zu längeren Ausführungszeiten führen. Jedoch ist es möglich, diese unter Verwendung einer aktuelleren GPU oder mit Hilfe einer Rechenschrittaufteilung auf verschiedene GPUs zu kompensieren.

Advanced personalized customer needs and requirements lead to the demand for more flexible types of production lines. One trendsetting system apt to replace the old and static conveyor belt could be Transport-by-Throwing, which consists of robotic arms throwing objects to each other. Much research has been carried out in the field of robotic catching, but more needs to be done to meet the challenges involved. Despite many novel approaches, no fully satisfactory solution to catching a ball has been developed so far. A new approach that deals with this problem in a biologically-inspired way could be the answer. While it has already been proven that such a solution can lead to accurate results, its real-time constraints have not been examined. This thesis shows that computing ball detection and flightpath prediction can be done fast enough to capture the scene with a frame rate of 130 FPS. With the help of a NVidia GTX 560 Ti graphics processing unit, it was possible to execute all necessary calculations for the predictions in less than 7.7 ms on average. Because of maximum times of up to 11.7 ms, a small buffer is required for frame rates over 85 FPS. The results here demonstrate that the use of a GPU greatly accelerates the entire procedure and can lead to executions 3.5 to 7.2 times faster than on a CPU. Based on these results, further research can be carried out to examine the prediction system-s reliability and limitations. Possible changes in the algorithm that lead to additional demand for computational power can be made when using a newer GPU or distributing the tasks on different GPUs.