Full body interaction in serious games for rehabilitation

Abstract

Serious Games und besonders ihr Einsatz in medizinischen Anwendungen sind ein sehr aktives und schnell wachsendes Forschungsfeld. Es ist zu erwarten, dass Computerspiele die Partizipation von PatientInnen durch motivierende Umgebungen verbessern und Feedback bieten, während repetitive Rehabilitationsübungen in Spielinteraktionen verpackt werden. Die weite Verbreitung wird derzeit allerdings durch verschiedene Herausforderungen behindert. Diese betreffen vor allem die Kosten und die Verfügbarkeit geeigneter Eingabetechnologien, den Workflow im klinischen Alltag, den Aufwand der Spieleentwicklung und den Nachweis klinischer Veränderungen. In dieser Arbeit wurde ein erschwingliches flexibles Motion Capture- (MoCap) System entwickelt, welches Methoden zur Verfügung stellt, um automatisch ein Skelettmodel für BenutzerInnen zu erstellen und dieses in Echtzeit an optische Trackingdaten anzupassen. Die resultierenden MoCap-Daten können zur Steuerung eines Serious Games verwendet werden und PatientInnen in ihrem Lernprozess anleiten (z.B.: Korrektur von Fehlern in Bewegungsmustern). Diese Rolle wird während konventioneller Physio- oder Ergotherapie üblicherweise von TherapeutInnen übernommen.Weiters wurden die Algorithmen in einenWorkflow integriert, der dem klinischen Alltag entspricht. Zusätzlich wurde ein kostengünstiges MoCap-System basierend auf RGB-D Sensoren entwickelt und als Alternative für ein heimbasiertes oder Telerehabiliations-Szenario evaluiert. Muskelaktivität resultiert allerdings nicht immer in sichtbaren Bewegungen, weshalb sie oft schwer mit konventionellen MoCap-Systemen zu erfassen ist. Deshalb wurden Biosignalverstärker ebenfalls als Eingabegeräte eingesetzt und getestet. Die Entwicklung von Anwendungen und Serious Games für die Rehabilitation ist zeitintensiv und aufwändig, speziell mit einem Virtual Reality (VR) System. Oft müssen zusätzlich zu Spiellogik und Inhalten auch Ein- und Ausgabegeräte, wie die oben angeführten, integriert und ihre Daten verarbeitet werden. Aus diesem Grund wurde für Serious Games in der Rehabilitation und andere VR-Anwendungen in Forschung und Lehre ein umfassendes und flexibles Framework - ARTiFICe - entwickelt, das es erlaubt neue Geräte und Technologien einfach und transparent zu integrieren. Des Weiteren stellt es Module für die Interaktion, die Verteilung von Daten in Multi-User Szenarien sowie für haptisches Feedback zur Verfügung. Schließlich wurde ein Serious Game entworfen und implementiert, das auf dem ARTiFICe Framework basiert und die Rehabilitation von PatientInnen mit chronischen Nacken- und Rückenschmerzen zum Ziel hat, weil diese Gruppe bisher in der Entwicklung von Serious Games keine Beachtung gefunden hat. Das Spiel wurde in einer Benutzerstudie mit einer Gruppe von zehn PatientInnen evaluiert. Dabei motivierte es die StudienteilnehmerInnen ihre Rehabilitationsübungen auszuführen und zeigte Potential klinische Veränderungen betreffend.

Serious games and especially their employment in healthcare applications are an active and rapidly growing area of research. Video games are expected to increase patient participation through motivational environments and to provide feedback, when repetitive rehabilitation exercises can be incorporated into game interactions. However, wide-spread use is hindered by several challenges regarding the availability and costs of input technologies, the workflow in an every-day clinical environment, the effort of application development and proof of efficacy. This thesis contributes to a solution to these problems in multiple dimensions. An affordable flexible full body Motion Capture (MoCap) system has been developed, providing methods to generate a customized skeleton model for a user and fit it to optical tracking data in real-time. The MoCap data can be used as input to a serious game and to guide the patient in his relearning process (e.g. correcting errors in movement patterns), which is done by a therapist during conventional occupational or physical therapy. Furthermore, the algorithms were integrated in a workflow, which can be handled in an every-day clinical environment. In addition, a low-cost MoCap system has been developed based on RGB-D sensors and evaluated as an alternative input modality for a home-based or telerehabilitation scenario. However, muscle activity not always results in visible motions and might be difficult to track using conventional MoCap devices and therefore biosignal acquisition systems are also used for input. Developing applications and serious games for rehabilitation, especially with a Virtual Reality (VR) setup, requires a lot of time and effort, because in addition to the implementation of game logic and content, often input/output devices, such as the above, have to be integrated and their data processed. Therefore, for serious games in rehabilitation and other VR applications in research and teaching we have developed a powerful framework - ARTiFICe -, that is lightweight and flexible and easily integrates new devices and technologies. Furthermore, it incorporates modules for interaction, distribution in multi-user scenarios and haptic feedback. Finally, a serious game has been designed and implemented based on the ARTiFICe framework targeting rehabilitation of patients with musculoskeletal chronic pain of the lower back and neck, a group that has previously been neglected by serious games. The game was evaluated in a user study with a sample of ten adults with musculoskeletal pain and showed potential efficacy, clearly motivating patients to perform their exercises.