Development of a vision-based foot massage robot

Abstract

Bisher wurden viele unterschiedliche Roboter gebaut und entwickelt um den Menschen zuhelfen, die Lebensqualität zu verbessern oder die Arbeit zu erleichtern. Heutzutage leben wir immer mehr in einer Leistungsgesellschaft, wodurch viele Menschen mehr Stress und Druck im Leben verspüren. Eine gängige Methode um den Stresspegel zu senken ist zum Beispiel eine Fußmassage.Diese Diplomarbeit präsentiert einen Prototyp von einem bildbasierten Fußmassageroboter.Dazu wurden ein Hardware- und ein Softwaresetup erstellt. Ein Teil des Hardwaresetups umfasst die Modifikation des Roboterarms. Dies beinhaltet das Ersetzen des Greifers, der ursprünglich als Endeffektor diente, mit einem Deoroller. Dieser Deoroller ist zusätzlich mit fünf Tastern ausgestattet, die den physischen Kontakt zwischen dem Roboter und einer Fußsohle erkennen sollen. Außerdem wurden eine Plattform und eine Fußablage angefertigt.Eines der Hauptziele des Softwaresetups ist die Identifizierung und Erkennung der Fußsohle und des Roboters selbst. Dazu wurde ein Mask Region-Based Convolutional Neural Network trainiert. Dieses Netzwerk markiert die Pixel von der Fußsohle und dem Roboter auf dem Eingabebild. In der weiteren Abfolge wurde eine Sohlenmaskenvorlage erstellt,auf welcher die Massagepunkte einmal manuell platziert wurden. Die Punkte dieser Vorlage werden während der Massage auf die Maske des zu massierenden Fußes projiziert.Zusätzlich werden diese Punkte in eine Simulation, in welcher der Roboter abgebildet ist,geladen. Mittels inverser Kinematik werden die Rotationswinkel der einzelnen Servomotoren in der Simulation berechnet, sodass der Endeffektor den Massagepunkt erreicht.Danach werden diese Winkel an den Roboterkontroller, in diesem Fall ein Arduino,gesendet um den Roboter zu bewegen. Wird ein physischer Kontakt erkannt, wird die Massagetechnik Friktionieren ausgeführt. Des Weiteren können einige Einstellungen der Massagebewegungen, wie zum Beispiel die Geschwindigkeit, verändert werden. Dazu wurden drei neuronale Netzwerke (Convolutional Neural Networks) trainiert, die zur Audioerkennung für Befehle eingesetzt werden.Schließlich wurde der Prototyp in einer Nutzerstudie mit einer Gruppe von 13 Teilnehmer*innen getestet. Bei der Auswertung wurde festgestellt, dass ein Roboterarm eine State-of-the-Art Fußmassage durchführen kann. Der Stresspegel ist niedriger als vor der Massage und die Teilnehmer*innen sind entspannter. Jedoch massiert der Roboter den rechten Fuß genauer als den Linken und reagiert nicht immer korrekt auf dieSprachbefehle.

So far, many different robots have been built and developed to help people, improve the quality of life or make work easier. Nowadays we live in a society where pressure arises due to work and other factors, causing people to develop stress in their lives. A massage can have a relaxing effect and help alleviate stress, such as a foot massage.This thesis presents a prototype of a vision-based foot massage robot. For this purpose,a hardware and a software setup was created. One part of the hardware setup was themodification of the robotic arm. This involved replacing the claw, which originally served as an end-effector, with a deodorant roller. This deodorant roller is additionally equipped with five buttons, which are supposed to detect the physical contact between the robot and the sole. Furthermore, a platform and a footrest was built.One of the main goals of the software setup is to identify and recognize the sole of thefoot as well as the robot. To achieve this goal, a Mask Region-Based Convolutional Neural Network was trained. This network marks the pixels from the robot and the sole of the foot on the input image. The massage points are manually generated once on a sole mask template and projected on to the mask of the foot during the massage. In addition, these points are loaded into a simulation, where the robotic arm is also mapped into. The rotation angles of each servomotor are calculated in the simulation with inversekinematics, so that the end-effector reaches the massage point. Then these angles aresent to the robot controller, in this case an Arduino, to move the robot. If physical contact is detected, the massage technique frictioning will be performed. Furthermore,some settings of the massage movements, such as the speed, can be changed. For this purpose, three Convolutional Neural Networks were trained, which are used for audio command recognition.Finally, the prototype was tested in a user study with a group of 13 participants. Through the evaluation it was discovered that a robotic arm can perform a state-of-the-art footmassage. The stress level of the participants is lower than before the massage and they reported to be more relaxed. However the robot massages the right foot more accurate than the left one and the robot does not always respond well to the voice commands.