A virtual reality training tool for upper limp prostheses

Abstract

The technology of electromyography has become very common in being used to control hand prostheses. This technology allows the capture of controlling signals for a prosthesis by attaching electrodes to the skin, over skeletal muscles. However, before practicing with a real prosthesis, the patient has to await the healing process of the arm stump. Furthermore, the learning process can be difficult and frustrating. In this thesis, a training environment will be presented, capable of simulating the process of grasping virtual spheres with a virtual hand by using the proper amount of grip force. The virtual reality experience, is created by using the ioTracker motion tracking system, developed at the Vienna University of Technology. This system is capable of tracking the motions of the head and arm of a protagonist with six degrees of freedom (position and orientation). The created tracking data is forwarded through the OpenTracker framework into an application created with the free version of the game engine Unity3D. In this application, the tracking data is translated into a virtual 3D environment and visualized. The picture created by the virtual camera, which is mounted to the head of the protagonist, is transmitted wirelessly to a head mounted display (HMD) that the protagonist is wearing. This allows the protagonist to move around freely inside an area of 4x4 meters. As this work was done in collaboration with Otto Bock, the same technology was used for controlling the virtual hand, as it is embedded in the Michelangelo Hand prosthesis by Otto Bock. Using two electrodes, the electrical activity of skeletal muscles is measured through the skin and is further processed into controlling signals, which are then sent to the simulation. As the goal of this work was both, to create an environment for exercising and to evaluate hand prostheses, the electromyographic (EMG) controlling signals can be mapped in a flexible way to certain behaviors of the prosthesis. Furthermore, several simulation modes for creating grip force can be used, which again is indicated to the protagonist by several optical grasping aides. The virtual arm can be adjusted to best match the real circumstances. Finally, several options are provided for creating and performing various evaluation and training scenarios. Based on the final application, several of these scenarios have been created and tested with probands for evaluating the capabilities of the system.

Der Gebrauch von myoelektrischen Handprothesen ist inzwischen weit verbreitet. Mit dieser Technologie ist es möglich, Steuersignale für die Prothese mittels Elektroden zu erfassen, welche direkt auf der Haut über Muskeln platziert werden. Allerdings muss der Betroffene den Heilungsprozess der Amputation abwarten, bevor er damit anfangen kann, eine Prothese zu verwenden. Außerdem kann dieser Prozess vor allem am Anfang schwierig und frustrierend sein. In dieser Arbeit wird eine Trainingsanwendung vorgestellt, welche es erlaubt, in einem virtuellen Raum mit einer Hand nach Kugeln zu greifen, wofür eine jeweils der Kugel enstprechende Griffkraft aufgewendet werden muss. Um die virtuelle Realität zu erschaffen, in der sich dieses Szenario abspielt, wird das Tracking-System ioTracker verwendet, welches an der technischen Unversität Wien entwickelt wurde. Mit diesem System werden die Bewegungen von Kopf und Arm des Akteurs in 6 Freiheitsgraden aufgezeichnet (Position und Orientierung) und mittels des OpenTracker Frameworks an eine weitere Anwendung übertragen, welche mit der freien Version der Game Engine Unity3D entwickelt wurde. In dieser werden diese Bewegungsdaten mittels einer dafür entwickelten Software in eine virtuelle 3D Umgebung übertragen und visualisiert. Das Bild der virtuellen Kamera, welche mit dem Kopf des Akteurs mitbewegt wird, wird drahtlos an ein am Kopf des Akteurs befestigtes Display (Head mounted display, HMD) übertragen. Dies ermöglicht es dem Akteur, sich innerhalb eines begrenzten Bereiches von 4x4 Metern frei im Raum umherzubewegen. Da diese Arbeit in Zusammenarbeit mit Otto Bock durchgeführt wurde, konnte für die Steuerung der virtuellen Hand die gleiche Technologie verwendet werden, wie sie in der von Otto Bock entwickelten Michelangelo Handprothese eingebaut ist. Mittels zweier Elektroden wird die elektrische Aktivität von Muskeln unter der Haut gemessen und in Steuersignale umgerechnet. Diese werden anschließend über eine drahtlose Verbindung an die Simulation gesendet. Da das Ziel dieser Arbeit sowohl in einer Trainingsumgebung als auch in einer Testumgebung für Handprothesen bestand, gibt es mehrere Möglichkeiten, die elektromyographischen (EMG) Steuersignale auf die virtuelle Hand anzuwenden. Weiters können diverse Simulationsarten für die Erzeugung von Griffkraft verwendet werden, welche wiederum dem Akteur während des Greifens durch optische Anzeigen signalisiert wird. Der virtuelle Arm kann angepasst werden, um die Simulation so gut wie möglich an die realen Gegebenheiten anzupassen. Schließlich wurden diverse Einstellungsmöglichkeiten implementiert, um das Erstellen und Durchführen von unterschiedlichen Test- und Trainingsszenarion zu ermöglichen. Im Anschluss an die Arbeit wurden Übungs-Szenarien entwickelt und mit Personen durchgeführt, Um die Fähigkeiten des Systems zu testen, wurden im Anschluss an die Arbeit Übungs-Szenarien entwickelt und mit Versuchspersonen durchgeführt.