Die approbierte Originalversion dieser Diplom-/ Masterarbeit ist in der Hauptbibliothek der Tech- nischen Universität Wien aufgestellt und zugänglich. http://www.ub.tuwien.ac.at The approved original version of this diploma or master thesis is available at the main library of the Vienna University of Technology. http://www.ub.tuwien.ac.at/eng Emanuel Vonach 1220 Wien „Hiermit erkläre ich, dass ich die mit meinem Namen markierten Teile der Arbeit selbständig verfasst habe, dass ich die verwendeten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit – einschließlich Tabellen, Karten und Abbildungen –, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe.“ Wien, am _____________, ___________________________ Danksagung Ich möchte an dieser Stelle besonders meinem Betreuer Hannes Kaufmann für seine exzellente Betreuung und seine Unterstützung meinen Dank ausdrücken. Ebenso danke ich Christian Schönauer für seine Mitbetreuung. Besonders danken möchte ich hier auch meinem Kollegen und gutem Freund Georg Gerstweiler für seinen Rat und seine Unterstützung. Ganz besonderer Dank gebührt meiner gesamten Familie und insbesondere meiner Lebensgefährtin Katharina, welche durch ihre liebevolle Unterstützung und Verständnis diese Arbeit ermöglicht haben und einige lange Abende erleichtert haben. Kurzfassung Für das erfolgreiche Erlernen von Bewegungsabfolgen im Sport oder der Physiotherapie ist es wichtig Übungen regelmäßig, häufig und korrekt durchzuführen. Aber nicht immer kann ein Lehrer bzw. Therapeut anwesend sein, um auf die korrekte Durchführung von Übungen zu achten. Derzeit übliche multimediale Hilfsmittel für das autonome Lernen von komplexen Bewegungen, wie Lernvideos oder Animationen, bieten keine Möglichkeit für Feedback und können dadurch zu negativen Effekten führen wenn eine Bewegung falsch eingelernt wird. Als Lösung für diese Problematik wurde in der vorliegenden Arbeit die interaktive Virtual-Reality-Applikation MoCapGym entwickelt. Als Grundlage für die Entwicklung dieser Anwendung wurden verschiedene Lerntheorien und konventionelle Konzepte auf deren Eignung in Hinblick auf das vorliegende Szenario analysiert. Auf Basis dessen wurde ein neuartiges, mehrphasiges Lernszenario entwickelt, welches sowohl traditionelle Aspekte berücksichtigt, aber auch das volle Potential einer VR-Anwendung ausschöpft. Mit Hilfe eines optischen Trackingsystems und eines aktiven Motion-Capture-Suits ist es mit Hilfe der Lernumgebung möglich, ohne Anwesenheit eines Professionisten komplexe Bewegungsabfolgen zu erlernen und anhand von automatischem Feedback zu optimieren. Die erfassten Bewegungsdaten werden dafür in Echtzeit analysiert und in geeigneter Form dem Benutzer präsentiert. Eine durchgeführte Benutzerstudie zeigt, dass es das entwickelte Konzept ermöglicht, in kurzer Zeit beliebige Bewegungsabfolgen einzustudieren und zu optimieren. Schlüsselwörter: Virtual Reality, Training motorischer Fähigkeiten, Rehabilitation und Sport, Ganzkörper Motion Capture; Abstract Performing a precise sequence of movements is essential in sports and physical therapy. These exercises have to be repeated regularly, frequently and in a correct way to improve the skills. In most training sessions, neither a teacher nor a therapist can be present in order to ensure a correctly performed exercise. Current tools for learning motion skills autonomously are based on training videos, animations or textual description without the opportunity for receiving feedback. Performing an exercise incorrectly can therefore lead to limited success or even cause negative consequences. In this work we developed the novel Virtual Reality application MoCapGym, which allows users to interactively and autonomously learn and improve complex motions. Based on an evaluation of different approved learning theories and concepts in the area of motion learning, a novel multi-phase learning concept for 3D virtual environments was developed. The approach combines traditional aspects as well as tries to exploit the full potential of VR devices for motion capture and 3D visualization. With the help of an optical tracking system and an active motion capture suit, it was possible to design a learning environment for arbitrary and complex motions. An automatic visual feedback concept correlates real time motion data with recorded optimal exercises. Discrepancies are visualized in a 3D environment. A user study shows that the developed learning environment can be used for learning body movements in a short time frame. Keywords: Virtual Reality, Motion Skill Training, Rehabilitation and Sports, Full Body Motion Capturing; Einleitung Inhaltsverzeichnis 1. Einleitung ________________________________________________ 3 2. Motivation und Ziele _______________________________________ 5 2.1. Motivation .................................................................................................... 5 2.2. Ziele ............................................................................................................. 6 2.3. Abgrenzung ................................................................................................. 7 3. State-of-the-Art ____________________________________________ 9 3.1. Multimediale Vermittlung von Bewegungsabfolgen ................................. 9 3.2. Bewegungsvergleich .................................................................................14 4. Lernstadien motorischen Lernens ___________________________ 16 4.1. Didaktische Modelle ...................................................................................16 4.1.1. Schnabel & Meinel ________________________________________ 16 4.1.2. Fitts & Posner ____________________________________________ 17 4.1.3. Singer __________________________________________________ 18 4.2. Praxis der Bewegungslehre ......................................................................19 5. VR-Setup ________________________________________________ 20 5.1. Trackingsystem ..........................................................................................20 5.2. Motion-Suit .................................................................................................22 6. Entwurf des Anwendungskonzepts __________________________ 25 6.1. Analyse von Bewegungsabfolgen im Sport .............................................25 6.1.1. Sportarten ohne Objekte ___________________________________ 25 6.1.2. Sportarten mit Objekten ____________________________________ 27 6.1.3. Sportarten mit Interaktion ___________________________________ 28 6.1.4. Sportarten in besonderer Umgebung __________________________ 29 6.2. Analyse von Bewegungsabfolgen in der Physiotherapie .......................30 6.2.1. Ergonomie ______________________________________________ 30 6.2.2. Bewegungsbeeinträchtigung ________________________________ 31 6.3. Anwendungsdesign ...................................................................................32 2015 1 Einleitung 7. Entwurf des Lernkonzepts __________________________________ 35 7.1. Erstellen der Bewegungsaufgabe ............................................................ 35 7.2. Phase 1 - Vorbereiten des Schülers ......................................................... 36 7.3. Phase 2 - Beobachten ............................................................................... 37 7.4. Phase 3 - Nachahmen ............................................................................... 38 7.5. Phase 4 - Geleitete Übung ........................................................................ 39 7.6. Phase 5 - Wiedergabe ............................................................................... 41 8. Implementierung _________________________________________ 42 8.1. Applikationsmodule .................................................................................. 42 8.2. Netzwerk und Datenstrukturen ................................................................ 44 8.3. Avatar-Steuerung ...................................................................................... 46 8.4. 3D-Modellierung ........................................................................................ 49 8.5. Bewegungsvergleich und Feedback ........................................................ 51 8.6. User Interface ............................................................................................ 53 8.7. Funktionen für den aktiven Lernprozess ................................................. 56 9. Evaluierung ______________________________________________ 58 9.1. Setup der User Tests ................................................................................ 58 9.2. Prozedur .................................................................................................... 59 9.3. User Tests Beobachtungen ...................................................................... 62 10. Ergebnisse _____________________________________________ 67 11. Ausblick _______________________________________________ 69 Appendix __________________________________________________ 71 A. Fragebogen _____________________________________________ 71 B. Literatur ________________________________________________ 73 C. Abbildungsverzeichnis ____________________________________ 77 2 2015 Einleitung 1. Einleitung Das Erlernen und Beobachten von spezifischen Bewegungsabfolgen ist ein zentrales Element in den Bereichen Sport, Sportmedizin, Physiotherapie und Rehabilitation. In vielen Anwendungsgebieten ist es notwendig Bewegungen exakt durchzuführen, da leichte Abweichungen oft nicht zum gewünschten Ergebnis führen oder sogar ungewünschte Nebeneffekte hervorrufen. Bei alltäglichen Bewegungen wie Heben oder Bücken kann eine falsche Haltung eine Mehrbelastung auf den Rücken bzw. die Bandscheiben aufbauen, wohingegen eine falsch durchgeführte Rehabilitationsübung die Genesungszeit verlängert. Genau an diesem Punkt setzt die vorliegende Arbeit an. Ziel ist die konzeptionelle und praktische Entwicklung einer technologiegestützten, interaktiven Lernumgebung zur Vermittlung von komplexen Bewegungsabfolgen für ein möglichst breites Anwendungsfeld. Die Benutzer können dadurch autonom trainieren, mit der Sicherheit die Bewegungen korrekt durchzuführen. Dabei werden Technologien aus dem Bereich Virtual Reality (VR) herangezogen. Als Basistechnologie kommt ein optisches Trackingsystem (Pintaric & Kaufmann, 2007) zum Einsatz, welches einen aktiven Motion-Suit (Gerstweiler & Vonach, 2011) - speziell konzipiert für die Ausführung von komplexen, sportmotorischen Übungen - im Raum erfasst und digitale Bewegungsdaten zur Verfügung stellt. Darauf aufbauend wurde in Zuge dieser Arbeit die Anwendung MoCapGym entwickelt. Diese soll Benutzern die Möglichkeit geben, ohne Beisein eines Professionisten, Bewegungsabfolgen zu erlernen und anhand von automatischem Feedback zu optimieren. Um ein optimales Ergebnis zu erzielen beschäftigt sich diese Arbeit mit verschiedenen Thematiken aus den Bereichen: Lerntheorien, Bewegungsvergleich, visuelles Feedback und Echtzeitanalyse. Aufgrund der Tatsache, dass es keine anerkannten Lernkonzepte bzw. Theorien der Bewegungslehre speziell für VR-Anwendungen gibt, werden verschiedene konventionelle Konzepte untersucht und deren Eignung für das vorliegende VR-Szenario analysiert. Auf Basis dieser Erkenntnis wird ein mehrphasiges Lernszenario entwickelt, welches sowohl traditionelle Aspekte berücksichtigt, aber auch das volle Potential einer VR-Anwendung ausschöpft. Die Vorteile einer VR-Lernumgebung im Gegensatz zu üblichen multimedialen Lernmaterialien wie Videos, 3D-Animationen, etc. liegen in der Vielfältigkeit der 2015 3 Einleitung Interaktionsmöglichkeiten und vor allem der Möglichkeit eines unmittelbaren Feedbacks an den Benutzer. Die Applikation wird in erster Linie für den Lernenden konzipiert, bietet aber durchaus Möglichkeiten für Professionisten ideale Bewegungsabfolgen einzuspielen und bestimmte Parameter für die Übung im Vorhinein zu bestimmen. Eine weitere spezifische Herausforderung ist die Analyse der erfassten Bewegungsdaten in Echtzeit. Ziel dabei ist es ein Bewertungsmodell für eine Bewegungsabfolge zu implementieren, welche die aktuellen Bewegungsdaten des Schülers mit einer idealen Bewegungsabfolge in Beziehung setzt. Die daraus entstehenden Abweichungen werden in geeigneter Form für den Benutzer in Echtzeit visualisiert. Dadurch ist es nicht nur möglich die Bewegung zu erlernen sondern auch schrittweise gezielt zu verbessern. Abschießend zeigt eine Benutzerstudie, dass das entwickelte Konzept es ermöglicht in kurzer Zeit beliebige Bewegungsabfolgen einzustudieren und zu optimieren. 4 2015 Motivation und Ziele 2. Motivation und Ziele Das folgende Kapitel beschreibt Gründe für die Entstehung der vorliegenden Arbeit. Dabei wird eine zentrale Hypothese aufgestellt, welche im Zuge des Projekts verifiziert wird. Darüber hinaus werden klare Ziele definiert, welche zu einem ganzheitlichen Ergebnis führen sollen. Um den Fokus der Arbeit auf die Kernthemen zu lenken und den Umfang in Grenzen zu halten werden ebenfalls Thematiken beschrieben, welche in dieser Untersuchung nicht behandelt werden. 2.1. Motivation Die Motivation, die zur Entstehung dieser Arbeit geführt hat, ist vielfältig. Der Ursprung liegt in der Tatsache, dass das Erlernen von motorischen Fähigkeiten ohne Beisein eines Lehrers nur sehr schwer in einer qualitativ hochwertigen Form durchgeführt werden kann. Die Mittel, welche Schülern üblicherweise zur Verfügung stehen, sind nur begrenzt in der Lage eine Bewegung verständlich zu beschreiben. Zurzeit sind Lernwillige auf textuelle Beschreibungen, Videos oder Animationen angewiesen. Hierbei gibt es jedoch keine Möglichkeit für ein unmittelbares Feedback und Fehler in der Ausführung werden oft nur spät oder gar nicht bemerkt. Wohingegen die Durchführung von Übungen mit einem Lehrer durch kontinuierliches und gezieltes Feedback große Vorteile hat. Dabei sollte jedoch erwähnt werden, dass der Lehrer zwar über das Wissen verfügt, wie eine Übung erlernt werden kann, jedoch nicht zwangsweise die Fähigkeit hat diese auch vorzuzeigen. Des Weiteren muss erwähnt werden, dass bereits diverse Produkte am Markt erhältlich sind, wie Microsoft Kinect1, PS Move2, etc., welche die Bewegung des Benutzers erkennen und digital abbilden können. Diese sind überwiegend für die Unterhaltungsindustrie entwickelt worden und geben daher nur oberflächlich Feedback über eine durchgeführte Bewegung. Darüber hinaus sind die verwendeten Trackingtechnologien zu ungenau und zu wenig flexibel um komplexe Bewegungen richtig abbilden zu können. 1 Kinect Beispiele Games 2 PS Move Spiel 2015 5 Motivation und Ziele Aus diesen Gründen versucht die vorliegende Arbeit eine VR-Umgebung zu schaffen, welche das Erlernen und Vermitteln von motorischen Fähigkeiten unterstützt. Eine Herausforderung liegt in der richtigen Gestaltung der Lernphasen, da sich die Auseinandersetzung mit der Theorie der Bewegungslehre mit speziellem Hinblick auf VR-Anwendungen erst in den Anfängen befindet (vgl. Kapitel 3 State-of-the-Art). Hier besteht jedoch großes Potential, da aus der Kombination von traditionellen Theorien und den Möglichkeiten von Motion-Tracking und 3D-Visualisierung ein neuartiges und effizientes Lernkonzept entstehen kann. Darüber hinaus wurde in einem anderen Projekt die Thematik der Bewegungserkennung im Bereich des Sports behandelt. Der daraus entstandene Prototyp eines robusten aktiven Motion-Suits (Gerstweiler & Vonach, 2011), mit unauffällig gestaltenden Markern zur Bewegungserkennung, bietet eine perfekte Basis für die vorliegende Arbeit. Durch die Erfahrung im Bereich Virtual Reality und Bewegungserkennung entstand die folgende, der Arbeit zugrundeliegende, Hypothese: Eine speziell für das Erlernen komplexer motorischer Fähigkeiten konzipierte Virtual-Reality-Umgebung kann durch die Kombination traditioneller Theorien der Bewegungslehre und den speziellen Möglichkeiten welche VR bietet zum Lernerfolg führen. 2.2. Ziele Um die zentrale Hypothese zu untersuchen ist es notwendig eine Reihe von Forschungsfragen zu definieren. Diese bilden ein Grundgerüst und sollen sowohl für das Design also auch für die Implementierung und Evaluierung der VR-Anwendung einen Leitfaden bilden. - Erarbeiten bzw. entwerfen eines VR-Lernkonzepts anhand einer Analyse anerkannter Theorien der Bewegungslehre und den Möglichkeiten aus VR. 6 2015 Motivation und Ziele - Erstellung eines Anforderungskatalogs anhand einer theoretischen Analyse verschiedener Anwendungskonzepte mit dem Fokus auf motorisches Lernen. - Die Applikation soll einerseits dem Lehrer ermöglichen Bewegungsabfolgen aufzunehmen und andererseits den Schülern als autonomes Trainingsmodul dienen. - Designen und implementieren eines Algorithmus zur Bewertung einer Bewegung in Echtzeit. - Umsetzen eines unmittelbaren Feedbacksystems für den Schüler. - Evaluierung des Prototyps hinsichtlich der Fähigkeit Bewegungen des Benutzers zu leiten. - Evaluierung des Prototyps hinsichtlich der Vermittelbarkeit von Bewegungsabfolgen. - Aufzeigen von Verbesserungsmöglichkeiten für VR-Lernumgebungen. 2.3. Abgrenzung Um sich auf die oben genannten Ziele fokussieren zu können, definiert der folgende Absatz genau welche Themen im Zuge dieser Arbeit nicht behandelt werden. Wichtig ist herauszustreichen, dass kein neues Motion-Trackingsystem entwickelt, sondern auf bewährte Technologien zurückgegriffen wird. Hierbei kommt der getestete Prototyp aus (Gerstweiler & Vonach, 2011) zum Einsatz. Bei der Umsetzung der Lernanwendung werden nur Bewegungsabfolgen berücksichtigt, welche kein zusätzliches Objekt, wie beispielsweise einen Ball, benötigen. Der damit verbundene Mehraufwand, wie die Lokalisierung des Objekts bzw. der genauen Simulation der Flugbahn anhand der Position des Aufpralls etc., würde den Rahmen der vorliegenden Arbeit sprengen. Es wird 2015 7 Motivation und Ziele hingegen darauf geachtet eine allgemein einsetzbare Lernumgebung zu entwickeln. Des Weiteren wird bei der Evaluierung kein direkter Vergleich zum herkömmlichen Erlernen von Bewegungsabfolgen gezogen, da zu viele Einflussfaktoren keine objektive Bewertung zulassen würden. Aufgrund der Tatsache, dass eine prototypische Anwendung implementiert wird, liegt der Schwerpunkt auch nicht auf dem Design einer Benutzeroberfläche. 8 2015 State-of-the-Art 3. State-of-the-Art Die Unterstützung durch zweidimensionale Inhalte ist beim Erlernen von Bewegungsabfolgen in der Praxis üblich. Sowohl wissenschaftliche Arbeiten als auch kommerzielle Produkte beschäftigen sich mit der Aufbereitung dreidimensionaler Inhalte für ein besseres Verständnis einer Bewegung. In diesem Kapitel werden relevante Projekte und deren Erkenntnisse bzw. Vorgehensweisen beleuchtet, um einen Überblick über die verschiedenen wissenschaftlichen Gebiete der vorliegenden Arbeit zu schaffen. Ziel ist es aufzuzeigen wie Bewegungen durch technologiegestützte Anwendungen vermittelt werden können. Dabei wird speziell hervorgehoben welche Bereiche des Sports bzw. der Rehabilitation abgedeckt sind und vor allem wie dem Benutzer in diesen Anwendungen Feedback über seine Leistung vermittelt wird. Da die Aufzeichnung von Bewegungsdaten des gesamten Körpers eine zentrale Rolle spielt, werden des Weiteren explizit Ansätze beschrieben, welche sich auf komplexe Bewegungsvergleiche zwischen zwei virtuellen Bewegungsabläufen konzentrieren. 3.1. Multimediale Vermittlung von Bewegungsabfolgen Das Vermitteln von komplexen Bewegungsabfolgen ist seit jeher ein sehr aufwendiger Prozess. Medial gestütztes Lernen bietet daher eine gute Unterstützung. Ursprünglich wurde anhand von Büchern detaillierte Informationen über eine Bewegung vermittelt. In weitere Folge kam es zu ergänzenden Videosequenzen, welche dem Lernenden die Möglichkeit gibt flüssige Bewegungen eines Experten zu verfolgen. Durch eine Analyse von 63 verschiedenen Arbeiten aus dem Bereich videogestütztes Lernen kamen McNeal und Nelson (McNeil, 1991) zu dem Ergebnis, dass Videosequenzen im Gegensatz zu Büchern signifikant besser Bewegungsabfolgen vermitteln können. Da der Sprung von Video zu Virtual Reality ähnlich mehr Funktionalität bietet wie der Sprung von Büchern zu Videos, kann angenommen werden, dass gut gestaltete VR-Anwendungen einen weiteren Verbesserungsgrad ermöglichen können. 2015 9 State-of-the-Art Schwarz und Hartman (Schwartz & Hartman, 2007) definierten für die Erstellung eines Videos zu lernzwecken ein umfassendes Framework, welches vier gängig Ziele definiert: Seeing, Engaging, Doing, and Saying, also Sehen, Einnehmen/Beteiligen/Interessieren Machen/Durchführen und Sagen/Erzählen. Dieses Framework ermöglicht somit sowohl eine Kategorisierung von Medien, bietet aber auch einen Leitfaden für die Erstellung spezifischer Anwendungsfälle in diesem Bereich. Als komplexe technologiegestützte Plattform kann die Arbeit von Chun-Hong Huang et al. (Chun-Hong Huang, Chuan-Feng Chiu, Su-Li Chin, Li-Hua Hsin, & Yi-Pei Yu, 2010) angeführt werden. Dabei wird die Erstellung einer Plattform zur Bereitstellung von Lernmaterialien für Athleten beschrieben. Es kommen sowohl konventionelle Videos als auch 2D-Animationen mit unterschiedlichen Perspektiven zum Einsatz. Diese Methoden und Erkenntnisse aus den 2D-basierten Lernmaterialien können in ähnlicher Form als Basis für die Umsetzung einer Virtual-Reality-Umgebung herangezogen und an spezifische Möglichkeiten einer virtuellen Umgebung, wie einer Bewegungserkennung, erweitert werden. Es existieren bereits einige Arbeiten, welche sich mit dem geleiteten Lernen von Bewegungsabfolgen in VR-Umgebungen beschäftigen. Hierbei ist es essentiell, dass nicht nur die Visualisierung in 3D stattfindet, sondern auch die natürliche Bewegung aufgezeichnet werden kann. Eine fundamentale Erkenntnis die bestätigt, dass in VR-Anwendungen motorisch Erlerntes auch in der Realität positive Auswirkungen hat, wurde von Rose et al. (Rose, Attree, & Brooks, 1997) bestätigt. Dabei wurde ein Geschicklichkeitsspiel in einer virtuellen Umgebung trainiert und in der realen Welt abgeprüft. Es zeigte sich, dass Personen mit Trainingseinheiten in VR deutlich bessere Ergebnisse erzielten. Davcev et al. beschreibt in (Davcev, Trajkovic, Kalajdziski, & Celakoski, 2003) bereits einen Ansatz einer 3D-Augmented-Reality-Anwendung für das Erlernen von Tanzbewegungen. Ziel war es dabei herauszufinden welches Medium von den Schülern bevorzugt verwendet wurde. Es standen dabei unter anderem textuelle Beschreibungen, Videos, Musik und interaktive 3D-Aufzeichnungen zur Verfügung. Eine Testreihe ergab, dass ein Großteil der Schüler die dreidimensionale Ansicht für das Erlernen bevorzugte. Damit zeigt sich, dass diese Art der Darstellung auch von Schülern angenommen wird. 10 2015 State-of-the-Art Die Anwendungsbereiche von VR bzw. Bewegungserkennung sind sehr vielfältig und beschäftigen sich häufig mit Sport, Rehabilitation oder Unterhaltung. Eine wesentliche Herausforderung in diesem Gebiet betrifft speziell die Thematik der Ganzkörperbewegung, da die Komplexität von Bewegungsabfolgen technisch schwer zu erfassen ist. Hierbei kommen zum Großteil optische Bewegungserkennungstechnologien zum Einsatz (Noiumkar & Tirakoat, 2013). Für spezifische Bereiche des Körpers werden auch einzelne Bewegungssensoren für die Analyse herangezogen (Li, Takano, & Johnson, 2011). Um für den Benutzer ein geeignetes Feedback bereit zu stellen ist es notwendig diese Bewegungsmuster in einer geeigneten Form und Qualität aufzuzeichnen. Der Grad der Interaktion bzw. des Feedbacks unterscheidet sich in vergleichbaren Arbeiten, welche sich mit der vorliegenden Problematik des Erlernens von motorischen Fähigkeiten mit Unterstützung von Ganzkörper- Bewegungserkennung beschäftigen. Komura et al. (Komura, Lam, Lau, & Leung, 2006) entwickelten eine Lernanwendung, welche auf eine spezifische Übung zugeschnitten wurde. Ziel dabei war es, die Verteidigung und den Angriff bei Kampfsportarten zu trainieren. Eine virtuelle Umgebung wurde für den Schüler erzeugt, in welcher dieser auf Bewegungen eines Avatars reagieren musste. Das Feedback während der Übung bestand darin, mittels Blitzen und einer Vibrationseinheit erfolgreiche Treffer zu vermitteln. Nach einer abgeschlossenen Einheit wurde eine nummerische Zusammenfassung über Treffer bzw. erfolgreich verteidigte Angriffe aufgelistet. Obwohl keine speziellen Hinweise über Fehlhaltungen geliefert wurden, kam es laut Autoren dennoch zu einer Steigerung in der Performance unter realen Bedingungen. Durch die Aufzeichnung von Bewegungen durch Trackingsysteme besteht die Möglichkeit, ideale Bewegungsabfolgen zu digitalisieren und zu visualisieren. Fitzgerald et al. beschreiben ein System (Fitzgerald et al., 2007) welches genau diesen Vorteil nützt um dem Schüler die richtige Bewegungsabfolge anhand eines 3D-Charakters zu präsentieren. Fitzgerald setzt dabei sowohl auf Visualisierung als auch auf eine auditive Beschreibung der Bewegung. Im Gegensatz zu anderen Systemen wird erst nach einer durchgeführten Übung ein Feedback bereitgestellt. Die Anwendung vergleicht dabei die optimale 2015 11 State-of-the-Art Bewegungsabfolge mit der des Schülers. Die Auswertung erfolgt jedoch speziell für den Experten und wird mittels Graphen dargestellt. Die Umsetzung eines Trainingssystems für das Erlernen und Optimieren von Tanzschritten (K. Hachimura, Kato, & Tamura, 2004) von Chan et al. zielt darauf ab, Benutzern mit Hilfe von automatisiertem Feedback Bewegungen zu vermitteln. Das Feedback ist dabei mannigfaltiger als bei vielen anderen Arbeiten. Der Benutzer ist in der Lage die Vorführgeschwindigkeit des virtuellen Charakters zu verändern. Gleichzeitig kann die Perspektive der virtuellen Kamera frei gewählt werden. Durch das Anzeigen eines simplifizierten Benutzer- Avatars werden dessen Körperteile je nach Perfektion der momentanen Pose eingefärbt, und geben so ein unmittelbares Feedback über Fehler. Dies hat zur Folge, dass die Szene üblicherweise bis zu vier Avatare beinhaltet, da sowohl dem Lehrer als auch dem Schüler ein zusätzlicher Avatar zur Seite gestellt wird. Nach Abschluss der Übung bekommt der Benutzer in numerischer Form eine Zusammenfassung aller Fehler pro Gelenk präsentiert. Wie bereits beschrieben, verwenden viele Ansätze einen Avatar, welcher dem Schüler die optimale Bewegung vorzeigt. Wo sich dieser Avatar im virtuellen Raum befinden sollte wurde von Chua et. al. untersucht. Dabei wurde der Lehrer-Avatar in fünf verschiedenen Varianten präsentiert: Ein einzelner Lehrer-Avatar, multiple Lehrer-Avatare und unterschiedliche Ausrichtungen). Bei einer Testreihe mit 40 Freiwilligen wurden die verschiedenen Konfigurationen hinsichtlich des Lernerfolgs getestet. Dabei zeigte sich jedoch kein signifikanter Unterschied zum Lernerfolg im Vergleich zur traditionellen Methode mit nur einem Lehrer-Avatar. Eine Umfrage bei den Testpersonen ergab, dass ein Großteil der Nutzer die traditionelle Methode bevorzugte. Auch andere Projekte (Sewall, Reeve, & Day, 1988) zeigten, dass sich die sogenannte Spiegel- Metapher bewährt und Vorteile bei der Vermittlung von Bewegungen haben. Bei den bisher angeführten Untersuchungen wurden nur Konzepte betreffend der Positionierung des vorführenden Avatars analysiert, jedoch nicht die Art und Weise wie Fehler oder Verbesserungsvorschläge in die Visualisierung eingearbeitet werden können. Ein VR-System bietet viel mehr Freiheitsgrade bei der Vermittlung von Informationen als andere technologiegestützte Lernumgebungen. So kann beispielsweise bei einer Bewegung erkannt werden auf welchen Körperteil zum momentanen Zeitpunkt mehr Fokus gelegt werden 12 2015 State-of-the-Art sollte. Auf Basis dessen kann beispielsweise die Perspektive der Kamera entsprechend verändert werden (Nawahdah & Inoue, 2012) um die Aufmerksamkeit des Benutzers zu lenken. Des Weiteren besteht die Möglichkeit einer Anpassung der Visualisierung der Avatare. Beispielsweise haben Yang et al. eine Lernumgebung gemäß der Ghost Metaphor konzipiert (Yang & Kim, 2002). Dabei betrachtet sich der Benutzer aus der Ich-Perspektive, wobei der Lehrer-Avatar seinen Körper überlagert und die Übung vorführt. So kann der Benutzer sich nach und nach der optimalen Bewegung annähern. Die Perspektive ist ein wichtiger Aspekt bei der Entwicklung einer interaktiven 3D-Lernanwendung. Bisher wurde von der Position der virtuellen Kamera gesprochen, genauso wichtig ist jedoch die Art des visuellen Ausgabegerätes. Speziell bei Bewegungsabfolgen die dem Benutzer komplexere Übungen abverlangen. Daher kommen auch oft verschiedene Anzeigevarianten zum Einsatz, wie beispielsweise Monitore oder Projektoren (Crivella et al., 2003; Fitzgerald et al., 2007; K. Hachimura et al., 2004; Sewall et al., 1988). Diese haben den Nachteil, dass der Benutzer in bestimmten Stellungen keine freie Sicht auf das Ausgabegerät hat, bzw. durch den Blick auf das Ausgabegerät die Bewegung verfälscht wird. Wird hingegen ein Head-Mounted-Display (HMD) verwendet (K. Hachimura et al., 2004; Nawahdah & Inoue, 2012), ist der Benutzer unter anderem durch die Verkabelung in der Bewegungsfreiheit stark eingeschränkt. Im Allgemeinen lässt sich zusammenfassen, dass keine der bisher erwähnten Arbeiten sich mit der Theorie der Bewegungslehre auseinander setzt, obwohl genügend hochwertige Literatur existiert (siehe Kapitel 4 Lernstadien motorischen Lernens). Darüber hinaus beschäftigen sich die wenigsten Arbeiten mit der Gestaltung eines Systems für allgemeine Bewegungsabläufe, welche das Trainieren eines exakten Verlaufs in den Vordergrund stellt, wie es in großen Bereichen des Sports oder der Rehabilitation notwendig ist. Auch der Eingriff eines Professionisten in die Gestaltung der Übung ist nur beschränkt oder gar nicht möglich. 2015 13 State-of-the-Art 3.2. Bewegungsvergleich Der Vergleich von zwei Bewegungen ist ein notwendiger Schritt beim Vermitteln bzw. Erlernen von komplexen Bewegungsabläufen. Hierzu ist es erforderlich Ähnlichkeiten bzw. Unterschiede zwischen gespeicherten Datensätzen und den Echtzeitdaten des Benutzers berechnen zu können. Ein Datensatz einer aufgezeichneten Ganzkörper-Pose besteht üblicherweise aus eine Anzahl von Winkeln, welche die Stellungen der einzelnen Gelenke beschreiben und einer einzigen Position des Root-Elements des Skeletts. Des Weiteren spielt der Faktor Zeit eine wichtige Rolle. Die Vermittlung von Feedback kann einerseits unmittelbar erfolgen und so in die Echtzeitvisualisierung einfließen und andererseits als gesammeltes Paket nach abgeschlossener Übung dem Benutzer bzw. einem Betreuer präsentiert werden. Die ganzheitliche Bewertung von Bewegungen ist mit der Aufgabe einer dynamischen Gestenerkennung zu vergleichen. Dieser Ansatz bewirkt jedoch, dass eine Beurteilung nur nach absolvieren der Übung möglich ist. Ein möglicher Ansatz Aussagen über eine Bewegung zu tätigen, ist das Trainieren eines Klassifikationsalgorithmus mit einem Datensatz, bestehend aus multiplen optimalen Bewegungsabfolgen. Li et al. verwenden diese Methode um einen optimalen Tennisschwung zu erkennen (Li et al., 2011) und zu bewerten. Dieser Ansatz bietet nur limitierte Möglichkeiten konstruktives Feedback bereitzustellen. Jacky et al. setzen auf ein detaillierteres, zusammenfassendes Feedback. Dabei werden während der Ausführung durch den Schüler die Gelenkspositionen mit der optimalen Bewegung verglichen und die normierte Abweichung über die Zeit hinweg aufsummiert. Der Benutzer bekommt nach Abschluss für jedes Gelenk einen Wert aus dem Intervall [0,100] der die Korrektheit der Ausführung beschreibt. Für die Umsetzung eines unmittelbaren Feedbacks ist eine Berechnung der Abweichungen in Echtzeit notwendig. Hierbei wird häufig auf die Gelenksdaten zurückgegriffen. Für die Umsetzung einer Gestensteuerung anhand von Bewegungsdaten haben Qian et al. (Qian et al., 2004) beispielsweise eine einfache aber wirkungsvolle Technik eingesetzt. Eine definierte Gruppe von Gelenken muss bestimmte Winkel einnehmen, um eine Aktion auszulösen. Die Vergleichsparameter wurden durch die Berechnung der Mahalanobis-Distanz 14 2015 State-of-the-Art bestimmt. Chua et al. (Chun-Hong Huang et al., 2010) zeigen, dass nicht nur die Winkel, sondern auch die Position der Gliedmaßen für einen Vergleich herangezogen werden können. Im Zuge der Entwicklung eines Trainingssystems für Tänze haben sich Hachimura et al. mit der Problematik auseinandergesetzt, Aufzeichnungen zweier verschiedener Personen zu vergleichen bzw. zu bewerten. Zwei wichtige Erkenntnisse beziehen sich dabei auf die Größe der Benutzer und die globale Ausrichtung bzw. die Position im Raum. Diese Werte können zu einer Verzerrung der Ergebnisse führen. Aus diesem Grund wurde in einem ersten Schritt eine Normalisierung der Eingabewerte durchgeführt. Das unmittelbare Feedback über den Fehler basiert dabei auf der euklidischen Distanz zwischen zwei Posen. Ein Schwellwert entscheidet über die Fehlertoleranz bei einer Bewegung. Die farbliche Kennzeichnung der Gelenke anhand des berechneten Fehlers wird jedoch bei jedem Gelenk gleich behandelt und ist nicht vom Bewegungsumfang des jeweiligen Gelenks abhängig. Somit ist die Toleranz bei der Schulter gleich hoch wie beim Knie, welches aber weniger Bewegungsfreiheit bietet. Berücksichtigt man nicht nur die aktuellen Daten, sondern ein Fenster von mehreren Posen bei der Berechnung, ergeben sich weitere Möglichkeiten zur Bewertung der Bewegung. Hachimura et al. (Kozaburo Hachimura, Takashina, & Yoshimura, 2005) präsentieren einen Ansatz, welcher Merkmale der Laban Movement Analysis (LMA) heranzieht. Diese berücksichtigt eine Vielzahl von Eigenschaften: die kinetische Energie eines Körperteils, die dominante Richtung der Bewegung, die Beschleunigung der einzelnen Körperteile und die ganzheitliche Form. Dies führt zu einer globalen Fehleranalyse zum jeweiligen Zeitpunkt. Lokale Unterschiede in der Bewegung oder detaillierte Verbesserungsvorschläge können daraus jedoch nicht gewonnen werden. 2015 15 Lernstadien motorischen Lernens 4. Lernstadien motorischen Lernens In dieser Arbeit soll der Prototyp einer VR-Lernanwendung für motorische Fähigkeiten entwickelt werden, der auf bestehenden Erkenntnissen aus verbreiteten traditionellen Lerntheorien aufbaut. Zu diesem Zweck werden im folgenden Kapitel Grundsätze verschiedener Theorien dargestellt und so Unterschiede als auch Übereinstimmungen aufgezeigt. Theorie und Anwendung unterscheiden sich oft, deshalb wird anschließend auch noch ein Blick auf die gängige Praxis der Bewegungslehre geworfen. 4.1. Didaktische Modelle In der Literatur finden sich unterschiedliche Betrachtungsweisen um verschiedene Lernstadien oder -phasen motorischen Lernens zu beschreiben. Viele der erstellten Modelle lassen sich universell für unterschiedlichste Sportarten und Bewegungsabläufe anwenden und stimmen in verschiedenen Punkten überein. Einige widersprechen sich aber auch gegenseitig mehr oder weniger stark. Um ein grundlegendes Verständnis für das Erlernen von Bewegungsabläufen zu ermöglichen, werden nun drei weit verbreitete Modelle mit unterschiedlichen Betrachtungsweisen etwas näher dargestellt: 4.1.1. Schnabel & Meinel Schnabel & Meinel (Meinel & Schnabel, 1998) beschreiben den Prozess für das Erlernen eines Bewegungsablaufes anhand eines 3-Phasen-Modells. Die erste Phase, die Grobkoordination, beinhaltet größtenteils das Kennenlernen und grundlegende Erfassen einer Bewegungsaufgabe. Die Aufgabe wird verbal von einem Lehrer erklärt und vorgezeigt, wodurch eine grobe Vorstellung entsteht. Erste Versuche der Ausführung beinhalten Mängel in allen Bewegungsteilen und bauen immer auf bereits vorhandenen, ähnlichen Bewegungserfahrungen auf (z.B. könnten beim Erlernen eines Golfabschlages Erfahrungen mit Tennis, Baseball oder anderen Schlagsportarten einfließen). Typisch für diese Phase ist ein ineffizienter und teilweise verkrampfter Krafteinsatz, ein Zusammenspiel von Teilbewegungen ist kaum vorhanden. Die eigenen Fehler während der 16 2015 Lernstadien motorischen Lernens Ausführung werden durch den mentalen Vergleich mit der vorgezeigten Bewegung korrigiert. Im Idealfall kommt es möglichst frühzeitig zu einem ersten gelungenen Versuch. Korrekturen durch den Lehrer sollten möglichst sparsam und effektiv erfolgen. Am Ende der Phase kann der gewünschte Bewegungsablauf vom Lernenden unter günstigen Bedingungen erfolgreich durchgeführt werden. In der darauffolgenden Phase, der Feinkoordination, kommt es zu einer laufenden Verbesserung der Bewegung bis hin zu einer annähernd fehlerfreien Ausführung unter gewohnten, günstigen Bedingungen. Der Krafteinsatz kann genauer dosiert werden und die einzelnen Teile des Bewegungsablaufs sind zusammenhängend und wirken flüssig. Bewegungsempfindungen werden bewusst erfassbar und ermöglichen die Fein-Korrektur der Bewegung durch mentalen Vergleich mit der eigenen Leistung. Die Aufmerksamkeit wird in dieser Phase immer stärker auf Einzelaspekte und Selbstbefehle gelenkt und Umweltbedingungen können variiert werden. Die finale Phase bildet die Stabilisierung der Feinkoordination und variable Verfügbarkeit. Der Bewegungsablauf kann mit hoher Präzision auch unter Druck und trotz Ermüdung ausgeführt werden. Die Aufmerksamkeit ist von der Bewegungsausführung gelöst und Verfeinerungen sind komplex. Feine Teilbewegungen und Korrekturen erfolgen durch Beobachtung der eigenen Bewegungsempfindung sowie der Wirkung auf die Umwelt. Am Ende kann die Bewegung fehlerfrei auch unter erschwerten Bedingungen ausgeführt werden und diese können schon im Voraus eingeplant werden. Zur weiteren Verbesserung kann Wettkampftraining oder Training unter verstärkter psychischer Belastung durchgeführt werden. 4.1.2. Fitts & Posner Fitts & Posner (Posner & Fitts, 1979) unterscheiden drei Lernstadien nach der jeweils geforderten Aufmerksamkeit. Zu Beginn, der Kognitiven Phase, ist sehr viel kognitive Aktivität erforderlich. Jeder Teil der Bewegung muss bewusst kontrolliert werden, der Ablauf ist langsam und ineffizient. Um die notwendigen Schritte zu erfassen wird mit verschiedenen Strategien experimentiert. Nachdem der grundlegende Bewegungsablauf angeeignet wurde, folgt die Assoziative 2015 17 Lernstadien motorischen Lernens Phase. Es kommt zu feineren Bewegungsanpassungen und die Muskelkoordination wird immer effizienter. Teile der Bewegung erfolgen automatisiert wodurch weniger Aufmerksamkeit notwendig ist. Schließlich werden nach langer Übung die Bewegungen in der Autonomen Phase fließend, scheinbar mühelos und höchst effizient. Es ist nur noch wenig bis keine Aufmerksamkeit bzw. kognitive Aktivität erforderlich. 4.1.3. Singer Nach Gabriele Wulf (Wulf, 2009) gehen die meisten Forscher davon aus, dass es gerade in frühen Phasen des Lernens besonders hilfreich ist, die Aufmerksamkeit des Lernenden auf die Koordination der Bewegung zu lenken. Üblicherweise sollen frühe Anweisungen und Rückmeldungen zu einzelnen Aspekten der Bewegungskoordination verhindern, dass in einer späteren Phase die einstudierte Technik noch korrigiert werden muss, nachdem sich diese bereits stabilisiert hat. Erst in den finalen Lernphasen gilt es generell als nachteilig, wenn die Konzentration auf die Bewegungsausführung gerichtet ist. Doch Wulf zitiert auch eine Vielzahl an Studien wonach der Lernfortschritt selbst in den Anfangsphasen des motorischen Lernens sogar behindert wird, wenn die Aufmerksamkeit auf die Bewegung gerichtet ist. Singer (Singer, 1988) geht in seinem Fünf-Schritte-Ansatz sogar soweit, Anfänger von der Bewegungsaufgabe abzulenken. Er nimmt an es sei förderlich, eine Bewegung auf eine Weise zu lernen, als wäre sie bereits automatisiert. Da dies Anfängern aber im Normalfall nicht möglich ist, schlägt er fünf Schritte vor die solange wiederholt werden bis ein Bewegungsablauf erlernt ist. In Schritt 1 soll sich der Lernende auf die Übung vorbereiten indem er sich positiv auf die Leistung einstellt und in Schritt 2 diese mental durchläuft. In Schritt 3 soll sich der Anfänger jedoch auf ein bestimmtes Detail der Situation konzentrieren (z.B. die Naht des zu schlagenden Balls beim Baseball) und damit alle anderen Gedanken ausblenden. In Schritt 4 wird nun die Bewegung ausgeführt, jedoch weiterhin möglichst nicht an die Bewegungshandlung selbst gedacht. Erst nach der Durchführung soll die Leistung in Schritt 5 analysiert werden um für den nächsten Durchlauf (auch in Teilen) Korrekturen vorzunehmen. 18 2015 Lernstadien motorischen Lernens 4.2. Praxis der Bewegungslehre In der Praxis haben noch weitere Effekte Einfluss auf den Lernerfolg. Die Guidance Hypothese von Salmoni et al. (Salmoni, Schmidt, & Walter, 1984) besagt, dass gegebenes Feedback den Lernenden zur korrekten Bewegungsausführung führt. Allerdings geben viele Trainer Lernenden zu häufiges Feedback und oft auch Verbesserungsvorschläge zur Bewegungsausführung, oder Teilen davon, schon während der Übung. Laut Salmoni kann der Lernende dadurch aber von Feedback abhängig werden, da er nicht mehr auf sein körpereigenes Feedback vertraut. Werden kleine Fehler schon während der Durchführung korrigiert, kann dies die Bewegungsausführung instabil machen. Um diesen Umstand zu vermeiden kann ein Trainer die Bewegung vorzeigen und nur vor oder nach der Übung Feedback in angemessenen Maß geben. Hier ist zu beachten, dass ein guter Lehrer nicht unbedingt auch selbst ein besonders guter Sportler in der zu erlernenden Disziplin sein muss und daher die Bewegung nicht perfekt ausführen kann um sie zu demonstrieren (Li et al., 2011). In der Praxis werden daher oft Videoaufzeichnungen von Profisportlern eingesetzt um eine Bewegung zu demonstrieren und das Bewegungsziel zu erläutern, besonders, wenn direkte Vorführung schwierig ist (z.B. Wellenreiten). Wulf (Wulf, 2009) zeichnete in einem Experiment die Bewegungen eines Lernenden auf um sie dann in Echtzeit am Bildschirm darzustellen. Sie konnte zeigen, dass auf diese Weise Leistung und Lernen begünstigt werden konnten, ohne dabei eine Abhängigkeit zu schaffen, obwohl keine zusätzlichen Informationen dargestellt wurden als durch das körpereigene Feedback ohnehin schon zur Verfügung standen. Der Grund wurde darin vermutet, dass die Konzentration auf den Bildschirm von der bewussten Kontrolle der Bewegungen ablenkt und dabei trotzdem das körpereigene Feedback beachtet wird. 2015 19 VR-Setup 5. VR-Setup Das folgende Kapitel beschreibt das Hardwaresetup, welches für das Erfassen von Bewegungsdaten herangezogen wurde. Des Weiteren wird erläutert warum die wesentlichen Trackingkomponenten, bestehend aus einem optischen Trackingsystem und einem aktiven Motion-Suit, für den vorliegenden Anwendungsbereich geeignet sind. Außerdem werden die Voraussetzungen seitens der Anwendung mit den Funktionalitäten des Setups abgeglichen. Für ein erfolgreiches Trainingsszenario ist es wichtig, dass die Bewegungsdaten in bestimmter Qualität vorliegen. Daher ist die richtige Auswahl dieser Komponenten wichtig für eine erfolgreiche Umsetzung der geplanten VR-Anwendung. 5.1. Trackingsystem Ein wesentliches Element, um Bewegungsabläufe eines Menschen digital erfassen zu können ist ein sogenanntes Trackingsystem. Das System, welches in der vorliegenden Arbeit zum Einsatz kommt, ist der iotracker (Pintaric & Kaufmann, 2007). Dabei handelt es sich um ein optisches Trackingsystem (siehe Abbildung 1a), welches auf Basis von infrarotem Licht Objekte im Raum lokalisieren kann. Es arbeitet nach dem Outside-In-Prinzip, wobei ein Set von Kameras fix im Raum platziert wird. Die Marker hingegen bestehen aus reflektierenden oder selbstleuchtenden, kugelförmigen Materialien. Das System ist grundsätzlich in der Lage die Position von retroreflektierenden Markern im Raum zu bestimmen. Die Position eines Markers wird millimetergenau genau berechnet. In diesem speziellen Anwendungsfall ist es jedoch nötig nicht nur die Position, sondern auch die Lage des Objektes, in diesem Fall eines Körperteils bzw. eines Gelenks, genau zu vermessen. Für eine korrekte Analyse einer Bewegung sind sechs Freiheitsgrade notwendig: Drei für die Positionierung im Raum und weitere drei für die Bestimmung der Rotation. Da dies alleine durch einen Marker, bzw. Punkt im Raum nicht möglich ist, kommen sogenannte Rigid-Body-Targets zum Einsatz. Diese bestehen aus einer Anordnung von mindestens drei Markern, welche mit bekanntem Abstand zueinander auf einem Gestell fixiert sind (siehe Abbildung 1b). Dieses Prinzip 20 2015 VR-Setup kann auch auf einem Motion-Suit angewendet werden. Jeder Körperteil ist dabei mit zumindest drei Markern bestückt, die wiederum ein Rigid-Body-Target bilden. Dadurch ist es dem Trackingsystem möglich die Position und die Lage der Körperteile zu ermitteln. (a) (b) Abbildung 1: (a) iotracker Systemaufbau (Pintaric & Kaufmann, 2007); (b) Rigid-Body-Target bestehend aus vier retroreflektierenden Markern (Pintaric & Kaufmann, 2007) Die Zeit, die für die entsprechenden Berechnungen benötigt wird um die notwendigen Vektoren zur Verfügung zu stellen, beträgt zwischen 18 und 40 Millisekunden und ist abhängig von der Anzahl der im Trackingvolumen sichtbaren Rigid-Body-Targets. Diese Geschwindigkeit reicht aus, um ein Ausführen der geplanten, interaktiven pädagogischen Applikation in Echtzeit zu ermöglichen. Um Verdeckungen zu minimieren wurde das Setup mit acht synchronisierten Kamers aufgebaut und kalibriert. Diese wurden jeweils in den Ecken eines quaderförmigen Raumes platziert. Es handelt sich dabei um 1394a Firewire- Kameras mit einer Bildwiederholfrequenz von 60 Hz und einer Auflösung von 752x480 Pixel. Das verwendetet Setup deckt somit den Bereich einer annähernd quadratischen Grundfläche mit einer Seitenlänge von vier Metern und einer Höhe von drei Metern ab. Der iotracker greift auf die Implementierung von Schönauer (Schönauer, 2007, 2015) basierend auf einem Algorithmus von Kirk et al. (Kirk, O’Brien, & Forsyth, 2005) zurück. Dieser sogenannte Skeletal Estimation Algorithmus versucht aus der vorhandenen Menge an dreidimensionalen Punkten automatisch Abhängigkeiten zu erkennen. Dadurch ist er in der Lage zusammenhängende 2015 21 VR-Setup Gruppen multipler Marker zu identifizieren und jeweils einem Körperteil zuzuordnen. Die Marker müssen jedoch in einer bestimmen Konfiguration auf einem beweglichen Skelett mit beliebig vielen Gelenken befestigt werden. Notwendig hierfür sind zumindest zwei LEDs pro Körperteil, um die erforderlichen Werte für die Position und Orientierung berechnen zu können. Aus dem resultierenden Datensatz werden die Längen der einzelnen Körperteile geschätzt. Um einen virtuellen Avatar steuern zu können benötigt es jedoch hauptsächlich die Orientierung der einzelnen Gelenke. Daher wird abhängig von der Skelettstruktur die Orientierung aller Gelenke berechnet. Diese Ergebnisse werden in Form eines XML-Dokuments aufbereitet und über Netzwerk-Sockets für die weitere Verwendung bereitgestellt. 5.2. Motion-Suit Neben dem Trackingsystem ist für die erfolgreiche Umsetzung des Projekts ein Motion-Suit notwendig, um die Positionen aller relevanten Gelenke aufzeichnen zu können. In diesem Projekt wird auf einen aktiven Motion-Capture-Suit zurückgegriffen (Gerstweiler & Vonach, 2011), welcher in einem Vorprojekt entwickelt wurde (siehe Abbildung 2a). Dieser wurde speziell für einen Einsatz mit möglichst viel Bewegungsfreiheit konzipiert. Besonders für den Anwendungsbereich Sport wurde darauf geachtet, dass der Anzug auch waschbar ist. Im Gegensatz zu den üblicherweise verwendeten reflektierenden Kugeln als Marker, wurden 70 eigens konstruierte LED-Marker am ganzen Anzug verteilt. Diese robusten Marker liegen flach an der Oberfläche des Anzugs auf und können dadurch auch bei Kontakt mit dem Boden oder anderen Gegenständen keinerlei Schmerzen verursachen, zerstört oder abgetrennt werden. Die notwendige Verkabelung der LED-Marker wurde mittels eines leitendenden Fadens ausgeführt und trägt so zum Tragekomfort bei. Durch die Vielzahl an verbauten LEDs ist es möglich folgende Gelenkspositionen zu bestimmen: Kopf, Rücken, Becken, Hüfte, Schulter, Ellbogen, Knie, Hand und Fuß. Gesteuert wird der Anzug über eine Kontrollbox, welche sich an der Vorderseite des Körpers befindet. Diese beinhaltet auch eine mobile Stromversorgung, welche die Marker für einen Zeitraum von zumindest 1,5 22 2015 VR-Setup Stunden versorgen kann. Ähnlich wie bei der Entwicklung des iotrackers wurde auch beim Design des Anzugs auf die Kosten geachtet. Daher beschränken sich die Materialkosten des Anzugs auf 560 EUR. Zurzeit existiert ein Prototyp dieses Anzugs in der Kleidungsgröße medium. Vor jeder Übung kann aus den 70 verfügbaren LEDs ein bestimmtes Set ausgewählt werden. Dies erfolgt über den Motion Suit Manager (siehe Abbildung 2b). Dieser läuft unter Windows und verbindet sich über die serielle Schnittstelle mit der Kontrollbox. Je nach Übungscharakter kann hier jeder einzelne Marker ein- und ausgeschaltet werden und so beispielsweise nur der Oberkörper aktiviert werden. Aufgrund des Skeletal Estimation Algorithmus müssen jedoch, wie bereits erwähnt, zumindest zwei LEDs beiderseits eines relevanten Gelenks aktiv sein. Es besteht auch die Möglichkeit verschiedene Sets permanent auf der Kontrollbox zu speichern um sie zur Laufzeit abfragen zu können. (a) (b) Abbildung 2: (a) Aktiver Motion-Suit; (b) Motion Suit Manager zur Steuerung der aktiven Marker Der Anzug besteht aus vier Teilen: einem Shirt, einer Hose, einem Stirnband und der Kontrollbox. Alle Teile sind per Stecker entweder untereinander oder mit der Kontrollbox für die Ansteuerung der LEDs verbunden. Zusätzlich muss der Benutzer auch sicherstellen alle vorhandenen Klettverschlüsse gut zu verschließen/fixieren um ein Verrutschen zu verhindern. Das Anlegen des Anzugs dauert üblicherweise nur wenige Minuten. Nach dem Umlegen des 2015 23 VR-Setup Kippschalters an der Kontrollbox durch den Benutzer ist der Anzug betriebsbereit. Bevor das Trackingsystem Daten des Bewegungsapparats zur Verfügung stellen kann, muss ein Kalibrierungsschritt durchgeführt werden, sodass der Skeletal Estimation Algorithmus die richtigen Dimensionen des Skeletts bestimmen kann. Der Benutzer muss dabei zügig alle Gelenke möglichst gleichzeitig bewegen. Nach erfolgreichem Abschluss werden die aktuellen Gelenksdaten per Netzwerksocket bereitgestellt. 24 2015 Entwurf des Anwendungskonzepts 6. Entwurf des Anwendungskonzepts In diesem Kapitel soll eine detaillierte Analyse beispielhafter Bewegungsabfolgen erfolgen, sowohl aus dem Bereich Sport als auch aus der Physiotherapie. Dabei soll genau betrachtet werden, wie solche Fähigkeiten in der Praxis gelehrt werden und wie entsprechende Übungen in einer VR-Anwendung aussehen könnten. Diese Analyse soll helfen verschiedene Anforderungen an eine VR-Lernumgebung aufzuzeigen, welche anschließend in den Entwurf eines Anwendungskonzepts einfließen. 6.1. Analyse von Bewegungsabfolgen im Sport Bei diversen Sportarten müssen mitunter komplexe Bewegungsabläufe erlernt werden. Dabei gibt es einige, die sich stärker auf eine perfekte Körperbeherrschung konzentrieren, während andere verschiedene Objekte involvieren, mit denen ein bestimmtes Ziel erreicht werden soll. Des Weiteren gibt es Bewegungsdisziplinen wo sich die Herausforderung besonders aus der Interaktion mit einem Mit- oder Gegenspieler, oder auch der Umwelt ergibt. Die verschiedenen Sparten werden in den folgenden Abschnitten analysiert. 6.1.1. Sportarten ohne Objekte Bei vielen Sportarten besteht die Herausforderung darin, den eigenen Körper perfekt unter Kontrolle zu haben um Bewegungsabläufe besonders effizient und/oder formschön ausführen zu können. Die optimale Technik ist dabei Grundvoraussetzung. Ein solcher Bewegungsablauf aus dem Turnen ist zum Beispiel das Handstand-Abrollen (Dober, 2015c). Dabei werden die Arme und das Schwungbein zunächst hochgeschwungen um beim Zurückschwingen den ganzen Körper durch weites Vorsetzen der Hände und Abstoßen mit dem Standbein in den Handstand aufzuschwingen. Im Handstand werden beide Beine geschlossen, der Körper angespannt und die Arme gestreckt. Der Blick ist nach unten gerichtet. Dann werden Arme und Hüfte gebeugt, der Kopf in Richtung Brust angezogen und mit angezogenen Beinen in den Stand abgerollt. 2015 25 Entwurf des Anwendungskonzepts Abbildung 3: Lernanimation für das Handstand-Abrollen (Dober, 2015c) Eine VR-Umgebung könnte das Erlernen von solchen motorischen Fähigkeiten unterstützen, indem ein optimaler Bewegungsablauf von einem Avatar vorgeführt wird. Im Beispiel Handstand sind häufige Anfängerfehler ein zu geringes Vorsetzen der Hände oder eine zu weite Vorlage der Schultern, was zu einer Hohlkreuzhaltung führt (Dober, 2015c). Um solche Fehler herauszustreichen könnte man in einer VR-Applikation während der Übung den Avatar eines Könners zu jenem des Anfängers in direkten Vergleich setzen und Unterschiede besonders hervorheben. Auch bei einigen Disziplinen der Leichtathletik müssen herausfordernde Bewegungsabläufe erlernt werden um gute Leistungen zu erzielen, und weisen etwas andere Eigenschaften auf. Beispielsweise ist eine Grundlage erfolgreichen Weitsprungs der Schrittsprung (Fuchser, 2005). Auf einen schnellen Anlauf mit steigender Geschwindigkeit bei aufrechter Haltung, folgen ein langer und ein kurzer Schritt, direkt vor dem Absprung. Beim Absprung wird der Fuß mit der ganzen Sohle aufgesetzt und bei einer Scherbewegung werden das Sprungbein lange nach hinten und das Schwungbein gleichzeitig spitzwinkelig nach vorne gezogen. Im Sprung werden die Arme von oben nach unten und beide Beine hochgezogen. Die Landung erfolgt mit beiden Beinen, wobei diese nachgeben und das Gesäß knapp hinter den Füßen landet. In diesem Beispiel ist besonders der korrekte Anlauf wichtig. Hier und auch in der Flugphase wird ersichtlich, dass nicht die perfekte Übereinstimmung der Position zwischen Anfänger und Könner ausschlaggebend ist. Diese ist stark von individuellen Eigenschaften wie Körperproportionen, Kraft, etc. abhängig. 26 2015 Entwurf des Anwendungskonzepts Stattdessen sind die korrekte Abfolge von Teilbewegungen sowie die richtige Haltung der Gelenke zu einem bestimmten Zeitpunkt wichtig. Einige wichtige Informationen, die für das Erlernen solcher Bewegungsabläufe hilfreich wären, können nur schwer in einer VR-Umgebung in Echtzeit visualisiert werden. Zum Beispiel sind sowohl beim Handstand als auch beim Weitsprung die Lage des Körperschwerpunkts und das Halten der Körperspannung wichtig. Diese Informationen müssen als verbale oder textuelle Instruktionen vor der Übung gegeben werden. Des Weiteren ist zu beachten, dass für Bewegungsabläufe wie beim Weitsprung ein relativ großer Platzbedarf besteht. 6.1.2. Sportarten mit Objekten Bei einer anderen großen Gruppe von Sportarten müssen ein oder mehrere Objekte möglichst gut mit Hilfe des eigenen Körpers gehandhabt werden um damit bestimmte Ziele zu erfüllen. Ein wichtiger Aspekt der Aufgabe besteht also aus der perfekten Kontrolle der beteiligten Objekte. Auch hier gilt es verschiedene Grundtechniken mit komplexen Bewegungsabläufen zu erlernen. Beispielsweise gibt es beim Fußball verschiedene Schusstechniken (Dober, 2015b), wie den Innenseitstoß. Hierbei wird nach einer Ausholphase mit Anlauf das Standbein eine Fußbreite neben den Ball gestellt, wobei die Fußspitze in Spielrichtung zeigt und die Knie leicht gebeugt sind. Nun schwingt das Schussbein zuerst zurück um dann in der Hauptphase gerade vorwärts schwingt. Dabei wird der Ball mit der Fußinnenseite mit fixiertem Fußgelenk getroffen. In der Ausschwungphase wird das Schussbein ausgeschwungen. Im Gegensatz dazu wird beim Vollspannstoß das Schussbein in der Hauptphase im Fußgelenk gestreckt und der Ball mit dem Fußrücken, dem Spann, möglichst genau in der Mitte getroffen. Bei verschiedenen Sportarten liegt also der Fokus auf unterschiedlichen Körperteilen, in diesem Fall den Beinen und Füßen. Damit variieren auch die Parameter, wann eine Bewegung als korrekt ausgeführt gilt. In einer VR-Lernanwendung wäre es in diesem Beispiel evtl. hilfreich, nur Feedback zur korrekten Bein- bzw. Fußhaltung zu geben. Gerade bei Sportarten mit Objekten wie dem Fußball kommt es meist neben den Grundtechniken und Bewegungsabläufen auf den Erfolg an, also z.B. ob das Tor getroffen wurde. In einer VR-Umgebung könnten die physikalischen Eigenschaften z.B. eines 2015 27 Entwurf des Anwendungskonzepts virtuellen Balles simuliert werden und so versucht werden, das Verhalten eines echten Fußballs nachzuahmen je nachdem an welcher Stelle er mit dem Fuß getroffen wurde. Eine solche Simulation hätte aber sehr hohe technische Anforderungen. Mehr noch als beim Fußball sind aber bei vielen Sportarten die Eigenschaften des beteiligten Objektes ein zentraler Teil der Erfahrung. Beim Baseball erfordert das korrekte Schlagen des Balls mit dem Schläger viel Übung, wobei aber z.B. dessen Gewicht und Verhalten beim Schwung wichtig sind. Laut (Dober, 2015a) wird der Schläger fest in beiden Händen gehalten und der Spieler steht seitlich in Schrittstellung zur Schlagrichtung (siehe Abbildung 4). Beim Schlag erfolgt eine Drehung der Hüfte und der Schulter um das Ende des Schlägers zum Ball hin zu beschleunigen und diesen in Hüfthöhe zu treffen. Um einen solchen Bewegungsablauf in einer VR-Applikation abzubilden, müsste der Spieler einen echten Schläger schwingen, dessen Position und Lage in Echtzeit verfolgt würde. Der Ball könnte entweder ruhig auf einer Schlaghilfe liegen oder müsste wie oben beschrieben simuliert werden. Abbildung 4: Lernanimation für den Schwung des Baseballschlägers (Dober, 2015a) 6.1.3. Sportarten mit Interaktion Die in diesem Abschnitt beschriebene Art von sportmotorischen Fähigkeiten wird im Zusammenspiel mit einem oder mehreren Partnern, entweder im Team oder als Kontrahent ausgeführt. Gerade bei Kontaktsportarten werden, abgesehen von zahlreichen Fall- und Rolltechniken oder den sogenannten Formen (komplexe Bewegungsabläufe mit festgelegten Technikabfolgen), sehr viele Techniken für Angriff und Verteidigung mit einem Sparring-Partner geübt. 28 2015 Entwurf des Anwendungskonzepts Beim Ein-, Zwei- oder Dreischrittkampf im Taekwondo (Pottle, 2013) werden etwa Selbstverteidigungstechniken in vorbestimmten Choreografien mit Fokus auf Präzision und Timing zusammen mit einem Partner ausgeführt. In einer sehr grundlegenden solchen Übung ahmt dieser beispielsweise einen Messerstich nach, den sein Gegenüber durch ein seitliches Ausweichen und Blockieren mit der linken Hand blockiert. Anschließend folgen noch ein Schlag zum Gesicht mit der rechten Hand sowie jeweils ein Schlag abwechselnd mit beiden Händen zur Brust. Diese Bewegungen werden oft sehr schnell und abrupt ausgeführt, daher müsste es in einer VR-Anwendung möglich sein, die Geschwindigkeit der Übung zu regulieren um sie als Anfänger nachahmen zu können. Einige Bewegungsabfolgen können jedoch nicht langsamer ausgeführt werden (z.B. Sprünge). In diesen Fällen sollte die Übung trotzdem bis zu diesem Punkt bzw. nach diesem Abschnitt langsam synchron durch- bzw. fortgeführt werden. Außerdem müssen eine hohe Updaterate und geringe Latenzzeiten des Systems solch rasche Bewegungen unterstützen. Auch Tanzen wird meist in direkter Interaktion mit einem Partner ausgeübt. Beim Salsa (Pacheco, 2015) werden die Schrittfolgen von Herren und Damen gegengleich synchron ausgeführt. Der linke Fuß des Herren wird vor gesetzt während der rechte Fuß der Dame zurückgesetzt wird. Der Ballen wird jeweils zuerst aufgesetzt, dann erst folgt die Ferse. Nachdem das Gewicht auf den jeweils anderen Fuß verlagert wurde, werden beide Füße wieder nebeneinander gestellt und nun Ablauf entgegengesetzt wiederholt. Solche Schrittfolgen könnten in einer VR-Umgebung vorgeführt bzw. eingeübt werden, wobei die Bewegungen sehr komplex werden können. Dann sollte es möglich sein diese aus verschiedenen Blickwinkeln betrachten zu können. Außerdem sollte auch ein virtueller Partner dargestellt werden, allerdings sind ähnlich wie in Kapitel 6.1.2 Sportarten mit Objekten, auch die Eigenschaften des beteiligten Partners ein Teil der Erfahrung und können nur schwer realistisch simuliert werden. Alternativ könnten in der VR-Umgebung gleich zwei Anfänger gemeinsam lernen. 6.1.4. Sportarten in besonderer Umgebung Die besondere Herausforderung einiger Sportarten ergibt sich erst durch die Interaktion mit der Umwelt, beispielsweise beim Skifahren die Eigenschaften der 2015 29 Entwurf des Anwendungskonzepts Piste, die Konsistenz des Schnees, etc. Es gibt auch in diesem Fall besonders für Anfänger Übungen, die auch ohne Hang oder Schnee möglich sind und in einer VR-Umgebung geübt werden könnten, wie etwa Schrittformen wie die Spitzkehre (Dober, 2015d). Dabei werden bei parallelen Skiern die Stecken vor und hinter den Körper auf eine Seite gestellt. Dann wird der gegenüberliegende Ski aufgestellt und um 180° gedreht wieder abgestellt, die Stecken und der zweite Ski folgen nach. Ohne Schnee und Piste kommt man aber bald an die Grenze dessen, was mit Unterstützung einer VR-Anwendung sinnvoll erlernt werden könnte. Eine realistische Simulation wäre sehr aufwändig und der Nutzen dabei fraglich, daher müssen die Übungen am eigentlichen Element stattfinden. 6.2. Analyse von Bewegungsabfolgen in der Physiotherapie In der Physiotherapie ist es besonders wichtig, Übungen regelmäßig und häufig durchzuführen. Aber nicht immer kann auch ein Therapeut anwesend sein um die korrekte Durchführung der Bewegungen zu garantieren. In der Praxis erklärt der Therapeut Übungen, die auch alleine zuhause gemacht werden können. Hier könnten Patienten auch von einer VR-Anwendung profitieren. In den folgenden Abschnitten wird zwischen Übungen die vorrangig auf eine korrekte Körperhaltung abzielen und solchen für Personen mit besonderer Beeinträchtigung unterschieden. 6.2.1. Ergonomie In der Physiotherapie gibt es zahlreiche Übungen um eine schonende und aufrechte Körperhaltung zu fördern. Nur wenige Personen weisen eine solche von sich aus auf, doch besonders für die Genesung nach Erkrankungen des Stütz- und Bewegungsapparates aber auch präventiv ist die richtige Körperhaltung wichtig. Ein bekanntes Beispiel ist das richtige Aufheben von Gegenständen (Woichiechowsky, 2015). Für eine optimale Belastung der Wirbelsäule ist es wichtig, einen runden Rücken zu vermeiden und mit gestrecktem Rücken zu heben. Je nach Statur kann es dabei einfacher sein, in die Hocke zu gehen oder sich nach einen kurzen Schritt nach vorne mit einer Hand am Oberschenkel abzustützen. Obwohl die Erklärung einfach klingt, ist es 30 2015 Entwurf des Anwendungskonzepts manchmal schwierig diese richtig umzusetzen wenn sich eine falsche Körperhaltung über Jahre gefestigt hat. Verschiedene Übungen mit einer VR-Anwendung könnten hier helfen, da visuell markiert werden kann, welche Körperteile noch besonders beachtet werden müssen. Eine Darstellung der Wirbelsäule oder anderer involvierter Teile des Stütz- und Bewegungsapparates, wie etwa die beanspruchten Muskelpartien, könnten auch zu einem tieferen Verständnis der korrekten Haltung führen. 6.2.2. Bewegungsbeeinträchtigung Auch für Personen mit Bewegungsbeeinträchtigung ist es förderlich Übungen durchzuführen um motorische Fähigkeiten wiederzuerlangen, etwa in der Rehabilitation nach einer Verletzung oder um schwindende Beweglichkeit möglichst lange zu erhalten, etwa im Falle von Senioren oder bei degenerativen Erkrankungen. Zum Beispiel ist es auch bei der neurodegenerativen Krankheit Morbus Parkinson (Keus et al., 2004) wichtig, eigenständig und konsequent motorische Übungen durchzuführen, um die Entwicklung von Beeinträchtigungen möglichst lange hinauszuzögern bzw. in späteren Stadien der Erkrankung die selbstständige Gehfähigkeit zu erhalten. In (Keus et al., 2004) wird eine Reihe von Studien genannt, die bestätigen, dass bei vielen Patienten visuelle und auditive Reize das Gehen verbessern können, womit sich das Training in einer VR-Anwendung anbieten würde. Aber die Anzahl an Instruktionen sollte beschränkt sein um die Patienten nicht zu überfordern. Üblicherweise gibt der Physiotherapeut beispielsweise Anweisungen für ein variables Gehtraining wie Richtung wechseln, Anhalten, Drehen, etc. Hier ist also nicht unbedingt das Erlernen eines bestimmten Bewegungsablaufes das Ziel, sondern das Reagieren auf variable Instruktionen. Eine VR-Umgebung könnte ein variables Trainingsprogramm bieten, wobei die Bewegungen des Patienten aufgezeichnet werden könnten. Anhand dieser Aufzeichnungen könnte der Therapeut später die Entwicklung der Fähigkeiten analysieren. 2015 31 Entwurf des Anwendungskonzepts 6.3. Anwendungsdesign In den letzten Kapiteln wurden Konzepte erläutert, welche für das Anwendungsdesign einer Applikation zum Erlernen von Bewegungsabfolgen, als Grundlage dienen. Besonders die Erkenntnisse aus Kapitel 4 Lernstadien motorischen Lernens, Kapitel 5 VR-Setup und Kapitel 6 Entwurf des Anwendungskonzepts wirken sich auf die Anforderungen an das Anwendungsdesign aus. Aufgrund der Vielfältigkeit von Sportarten bzw. deren Bewegungsabfolgen, konzentriert sich diese Arbeit bei der Implementierung der Anwendung MoCapGym auf die Vermittlung von Bewegungsabläufen, welche keine zusätzlichen Geräte benötigen, wie zum Beispiel Kontaktsportarten oder Turnübungen. Die Applikation soll dabei Werkzeuge zur Verfügung stellen, die es erlauben vielfältige Übungskonzepte zusammenzustellen, da wie in Kapitel 4 Lernstadien motorischen Lernens ersichtlich, eine Vielzahl an Lernkonzepten auf einem Mehr-Phasen-Modell basieren. Viele Konzepte (Salmoni et al., 1984; Wulf, 2009) konzentrieren sich speziell in den ersten Phasen auf eine Vermittlung des Wissens, wobei während der Übung wenig Feedback gegeben werden soll und eine Art mentale Vorbereitung von Vorteil ist. Erst in den darauffolgenden Phasen kommt es zu einer detaillierteren Feedbackschleife zwischen dem Lehrer und dem Schüler. Aus diesem Grund muss die Applikation es ermöglichen, sowohl verschiedene Abstraktionsebenen darzustellen, als auch mehrere Parameter bereitstellen, um einen komplexen Bewegungsablauf in verschiedenen Schwierigkeitsstufen zu unterteilen. Die Anwendung muss daher eine Reihe von Grundfunktionalitäten bereitstellen: Zunächst ist es notwendig beliebig viele Bewegungsabfolgen in einer geeigneten Datenbank abzuspeichern. Diese sollen zu einem beliebigen Zeitpunkt abrufbar sein, um einen Avatar in der virtuellen Szene gezielt animieren zu können. Zumindest ein weiterer Avatar muss in der Szene verankert sein, da dieser die aktuellen Bewegungsdaten des Benutzers darstellen muss. Hierbei muss erwähnt werden, dass die Latenz zwischen der realen Bewegung des Benutzers und der Visualisierung durch den Avatar auf dem Ausgabegerät so gering wie möglich gehalten werden muss, um der Echtzeitanforderung gerecht 32 2015 Entwurf des Anwendungskonzepts zu werden. Eine zu große Verzögerung bei der Visualisierung führt dazu, dass der Benutzer auf das Feedback nicht mehr geeignet reagieren kann. Auch müssen sich die Avatare in der Szene eindeutig ihren jeweiligen Aufgaben zuweisen lassen, sodass der Benutzer sein Gegenüber als Spiegelbild identifizieren kann. Eine zentrale Funktionalität der Anwendung muss der Vergleich zweier Bewegungen sein. Wie bereits in den vorangegangenen Kapiteln beschrieben, kann sich der Benutzer aufgrund der Übung nicht immer auf die visuelle Ausgabe konzentrieren. Aus diesem Grund muss der Bewegungsvergleich nicht nur in Echtzeit berechnet bzw. visualisiert werden, sondern es besteht die Notwendigkeit eine wiederholte Wiedergabe zu erlauben. Diese soll dem Benutzer nach Abschluss der Übung die Möglichkeit geben, sich Fehler im Detail anzusehen und zu analysieren. Für die Durchführung dieser Analyse ist es notwendig, geeignete Steuerelemente bereitzustellen, die ein Abspielen und Pausieren bzw. eine Änderung der Abspielgeschwindigkeit zulassen. Die Komplexität von Bewegungen macht es schwer, Details genauer zu observieren. Daher muss ein Konzept implementiert werden, welches es erlaubt die Perspektive der virtuellen Kamera je nach Bedarf verändern zu können. Dies muss sowohl während einer Übung, als auch beim Abspielen einer Aufnahme möglich sein. Die Interaktion zwischen dem Benutzer und dem System ist aufgrund der durchzuführenden Übung begrenzt. Jedes Eingabegerät (Maus, Pointer, etc.) würde den Benutzer von der Bewegung ablenken. Daher muss bei der Implementierung darauf geachtet werden, dass eine Übung auch autonom, ohne der Notwendigkeit einer zweiten Person, durchgeführt werden kann. Eine essentielle Funktion ist das Starten des Bewegungsvergleichs. Hierfür könnte beispielsweise ein einfacher Countdown oder aber auch die Übereinstimmung mit einer bestimmten Ausgangspose herangezogen werden. Diese Anforderungen sollen garantieren, dass MoCapGym für multiple Bewegungsabläufe eingesetzt werden kann und es auch ermöglicht, ein spezifisches Lernprogramm mit aufeinander abgestimmten Übungen entsprechend der in Kapitel 4 Lernstadien motorischen Lernens präsentierten Konzepte zusammenzustellen. Die Anforderungen sind im Anschluss punktuell zusammengefasst. 2015 33 Entwurf des Anwendungskonzepts Anforderung an die Grundfunktionalität: - Aufzeichnen und Speichern von beliebig vielen Bewegungsabfolgen - Benutzer muss sich mit 3D-Avatar identifizieren können - Steuermöglichkeit multipler Avatare - Einführungsszenario für neue Benutzer Anforderung an die Steuerung: - Avatar-Steuerung durch Livedaten als auch Aufzeichnungen - Steuermöglichkeiten für das Abspielen - Steuerung der Perspektive der Kamera - Interaktionsmöglichkeiten durch Pose Notwendige Funktionalitäten: - Geeignete Vergleichsparameter - Visualisierungstechniken der Richtigkeit der Bewegung - Analyse in Echtzeit - Analyse nach durchgeführter Übung Technische Anforderungen: - Geringe Latenz - Multiple visuelle Ausgabemöglichkeiten (Monitor, Projektor, HMD, …) 34 2015 Entwurf des Lernkonzepts 7. Entwurf des Lernkonzepts In diesem Kapitel wird der Prozess des Lernens mit der VR-Umgebung MoCapGym beschrieben. Die verschiedenen Konfigurationen die erstellt wurden um den Lernprozess sportmotorischer Fähigkeiten optimal zu unterstützen werden hier Phasen genannt. Dabei wurde versucht die in Kapitel 4 Lernstadien motorischen Lernens dargelegten theoretischen Grundlagen in die Erstellung so weit wie möglich einzuarbeiten. Die Phasen weisen unterschiedliche Levels an Komplexität auf, was auch mit dem Fortschritt im Lernprozess verbunden ist. Es ist aber nicht unbedingt nur ein linearer Ablauf von der einfachsten zur komplexesten Phase gedacht. Mit verschiedenen Teilen eines Bewegungsablaufs steigt auch die Komplexität, weshalb auch ein Wechsel zurück zu einfacheren Phasen oft sinnvoll ist. 7.1. Erstellen der Bewegungsaufgabe Um mit der VR-Applikation MoCapGym Bewegungsabläufe erlernen zu können, müssen zuerst entsprechende Übungen erstellt werden. Diese sollte im Idealfall von einem Experten, z.B. einem Lehrer oder Trainer, zusammen mit einem professionellen Sportler der Sportart vorbereitet werden. Ist der Lehrer mit dem System vertraut, kann er auch die Steuerung für die Aufzeichnung des Lehrer-Avatars übernehmen, während der Sportler den eigentlichen Bewegungsablauf vorführt. Dazu legt Letzterer den aktiven Motion-Suit an und dieser wird mittels Motion Suit Managers konfiguriert um möglichst alle Körperteile aufzuzeichnen. Sollten einzelne Körperpartien für die Übung nicht relevant sein, können diese später leicht ausgeblendet werden. Wurden Körperteile jedoch nicht aufgezeichnet und erscheinen wider Erwarten doch als wichtig, muss die ganze Aufzeichnung wiederholt werden. Das Trackingsystem wird gestartet und die Anzeige des Systems kann dazu genutzt werden, zu überprüfen ob alle LEDs funktionieren. Ist alles bereit, muss der Sportler die in Kapitel 5.1 Trackingsystem beschriebene Kalibrierungsbewegung durchführen und dabei möglichst alle Gelenke gleichzeitig bewegen. Ein Beispiel kann im MoCapGym vorgezeigt werden, es ist aber nicht erforderlich, dass die Bewegungen exakt übereinstimmen. Nachdem 2015 35 Entwurf des Lernkonzepts das System bereit ist, kann nun eine möglichst optimale Bewegung vom Sportler vorgeführt und dabei aufgezeichnet werden. Hierbei benötigt dieser keinen visuellen Output. Es ist auch sinnvoll gleich mehrere verschiedene Bewegungsabläufe der Sportart aufzuzeichnen und später zu einem Übungspaket zusammenzustellen. Der Lehrer erstellt einen Plan wie der Bewegungsablauf erlernt werden soll, also z.B. die Reihenfolge der Bewegungen bzw. ein Unterteilen in Teilbewegungen. Eine Bewegung kann auch wenn nötig in verschiedene Komplexitätslevels unterteilt werden. Es könnte vorteilhaft sein, nicht die Bewegung des ganzen Körpers auf einmal zu lernen, sondern langsam aufbauend z.B. zuerst die Arme, dann den ganzen Oberkörper und erst zum Schluss die Bewegung des ganzen Körpers. Außerdem können die wichtigsten Stellungen einer Bewegung als Milestone gekennzeichnet werden. Das erlaubt in späteren Lernphasen die Bewegungen freier durchzuführen und nur die Milestones zu vergleichen. Neben der Aufzeichnung für das Vorführen des Bewegungsablaufs in der VR-Umgebung, kann es auch helfen, wenn Lehrer & Sportler bestimmte Aspekte verbal oder textuell erläutern. Dies erleichtert das grundlegende Erfassen von Teilen der Bewegungsaufgabe die durch bloßes Beobachten vor allem in frühen Lernphasen eventuell nicht offensichtlich sind. 7.2. Phase 1 - Vorbereiten des Schülers Der Einstieg ins Training mit MoCapGym beginnt auch beim Schüler mit einigen Vorbereitungen. Wie der Sportler im vorherigen Kapitel, zieht er zunächst den Motion-Suit an, wobei je nach Bewegungsaufgabe der ganze Anzug oder Teile davon (z.B. nur das Oberteil) angelegt werden. Dementsprechend muss auch im Motion Suit Manager konfiguriert werden, welche Körperteile zum Einsatz kommen werden. Wie bereits beschrieben kann nachdem das Trackingsystem gestartet und die LEDs auf ihre Funktion überprüft wurden, bei der ersten Verwendung ein Beispiel für eine Kalibrierungsbewegung auf einem Projektor dargestellt und vom Schüler ungefähr nachgeahmt werden. Nach erfolgreicher Kalibrierung bekommt der Schüler einen Avatar in der VR-Umgebung zugewiesen. Im Normalfall kommt hier der Meshman (Kapitel 8.4 36 2015 Entwurf des Lernkonzepts 3D-Modellierung) zum Einsatz, bevorzugt der Benutzer aber ein abstrakteres Modell kann auch der Blockman verwendet werden. Bevor der Schüler mit dem Bewegungsablauf konfrontiert wird, sollte er sich nun an das System und seinen Avatar gewöhnen indem er die Echtzeitdarstellung seiner Bewegungen in der Projektion betrachtet und damit experimentiert (Abbildung 5). So kann er sich an Eigenschaften des Systems und seines Avatars gewöhnen und wird später nicht mehr besonders dadurch abgelenkt. Fühlt sich der Schüler bereit, sollte er sich nun mit der verbalen oder textuellen Erklärung des Bewegungsablaufs vertraut machen. Damit bildet sich ein erstes, grobes Verständnis der Bewegungsaufgabe und der Schüler kann sich mental auf die Übung vorbereiten (vgl. Kapitel 4.1.3 Singer). Abbildung 5: Freies Experimentieren mit dem Avatar 7.3. Phase 2 - Beobachten Die grundlegendste Übung in der Anfangsphase besteht immer aus der Vorführung einer Bewegung durch den Lehrer-Avatar. Der Schüler selbst besitzt hier keinen eigenen Avatar und kann durch Beobachtung des optimalen Bewegungsablaufs eine Verbindung zur vorher studierten verbalen oder 2015 37 Entwurf des Lernkonzepts textuellen Beschreibung herstellen um damit sein Verständnis der Aufgabe zu vertiefen. Der Betrachtungswinkel lässt sich frei entsprechend der Bedürfnisse des Lernenden anpassen um den Lehrer-Avatar aus verschiedenen Richtungen zu beobachten oder sich Details genauer anzusehen. Sobald sich der Schüler dazu bereit fühlt kann er beginnen, die Bewegungen nachzuahmen. Dabei ist es nicht unbedingt Ziel dieser Phase die Bewegung bereits möglichst korrekt zu imitieren, der Lernende soll sich vielmehr näher mit der Bewegung vertraut machen und damit experimentieren (vgl. Kapitel 4.1.1 Schnabel & Meinel und Kapitel 4.1.2 Fitts & Posner). Ohne eigenen Avatar gibt es hier keinen direkten Vergleich und damit auch kein störendes oder demotivierendes Feedback. Er muss ausschließlich auf sein körpereigenes Feedback zur Bewegungserfahrung vertrauen und kann auf sein bereits vorhandenes Repertoire an motorischen Fähigkeiten aufbauen. 7.4. Phase 3 - Nachahmen Nachdem der Schüler ein grundlegendes Verständnis des Bewegungsablaufs aufgebaut hat und damit seine Versuche, den Bewegungen des Lehrer-Avatars zu folgen, vergleichbar werden, wird kognitive Kapazität frei (vgl. Kapitel 4.1.2 Fitts & Posner). Nun kann auch der Avatar des Schülers in der Projektion dargestellt werden, wobei die Metapher eines Wandspiegels, wie er in vielen Trainingsräumen zu finden ist (siehe Abbildung 6a), zum Einsatz kommt. Der Schüler-Avatar wird neben dem des Lehrers angezeigt, und zwar so als würde der Schüler sein eigenes Spiegelbild in der Projektion betrachten (siehe Abbildung 6b). Dadurch kann der Schüler seine Bewegungen mit jenen der optimalen Bewegung selbst vergleichen, ohne jedoch durch zu viel Feedback überfordert zu werden. 38 2015 Entwurf des Lernkonzepts (a) (b) Abbildung 6: (a) Wandspiegel in Trainingsraum; (b) Spiegelmetapher in MoCapGym Für detaillierteres Feedback ist in dieser Lernphase das Bewegungsempfinden noch nicht ausreichend (vgl. Kapitel 4.1.1 Schnabel & Meinel). Normalerweise ist der Schüler hier auf einen Vergleich seiner Bewegung zum mentalen Bild der optimalen Bewegung in seiner Vorstellung angewiesen, welche nicht unbedingt korrekt sein muss. Die VR-Lernumgebung unterstützt den Lernprozess indem sie einen korrekteren Vergleich zum dargestellten Lehrer-Avatar zulässt, während der Schüler gleichzeitig auf sein körpereigenes Feedback achten muss. Gleichzeitig wird er auf diese Weise von zu intensiver und bewusster Kontrolle von Details von Teilbewegungen abgelenkt (vgl. Kapitel 4.1.3 Singer sowie Kapitel 4.2 Praxis der Bewegungslehre). Auch hier ist es möglich den Betrachtungswinkel nach eigenen Bedürfnissen anzupassen, z.B. um Unterschieden nachzugehen. Schließlich sollte der Schüler in der Lage sein, den kompletten Bewegungsablauf zumindest unter optimalen Bedingungen zusammenhängend ausführen zu können. 7.5. Phase 4 - Geleitete Übung Beim Übergang in eine fortgeschrittene Lernphase erfolgen nun Teile der Bewegung schon automatisiert. Damit wird das Bewegungsempfinden detailliert 2015 39 Entwurf des Lernkonzepts genug und auch ausreichend kognitive Kapazität frei, um als Schüler auch auf Einzelaspekte und feinere Korrekturen achten zu können (vgl. Kapitel 4.1.1 Schnabel & Meinel). Aus diesem Grund ist zu diesem Zeitpunkt auch komplexeres Feedback zur Bewegungsausführung hilfreich. Es wird immer noch die Spiegelmetapher eingesetzt, jedoch kommt nun auch eine Ghost-Metapher (Yang & Kim, 2002) hinzu. Zur leichteren Unterscheidung wird der Lehrer-Avatar hierzu transparent dargestellt und neben bzw. später auch deckend über den Schüler-Avatar gelegt. Zusätzlich können Farbnuancen der Körperteile des Schüler-Avatars zwischen grün und rot signalisieren wie hoch jeweils die Übereinstimmung der einzelnen Körperpartien mit jenen des Lehrers ist (Abbildung 7). Damit kann man leicht erkennen, wo noch Verbesserungsbedarf besteht und daher besondere Aufmerksamkeit oder Feinkorrekturen notwendig sind, oder auch welche Teile der Bewegung schon sehr gut funktionieren. Das Ziel möglichst alle Körperteile seines Avatars grün zu halten, bietet dabei eine besondere Motivation. Abbildung 7: Geleitete Übung mit Farbdarstellung der Abweichungen 40 2015 Entwurf des Lernkonzepts 7.6. Phase 5 - Wiedergabe Ist der Lernprozess sehr weit fortgeschritten, so ist der Bewegungsablauf bereits so gefestigt, dass er sehr präzise und autonom ohne besondere Aufmerksamkeit durchgeführt werden kann (vgl. Kapitel 4.1.1 Schnabel & Meinel und 4.1.2 Fitts & Posner). Es ist nun nicht mehr Ziel, in der VR-Umgebung den Lehrer-Avatar optimal nachzuahmen, sondern es soll weiter mit der Bewegung experimentiert werden, um diese zu stabilisieren und auch unter erschwerten Bedingungen problemlos durchführen zu können. Um diesen Prozess zu unterstützen bedient sich MoCapGym einer weiteren Metapher: Der Schüler ist sozusagen über seine Rolle hinausgewachsen und wird selbst zum Lehrer. Ohne die Bewegung vorgeführt zu bekommen, führt nun der Schüler den Ablauf vor. Sobald ein festgelegter Milestone, also ein bestimmter kritischer Punkt im Bewegungsablauf, erreicht wurde, folgt der Lehrer-Avatar dieser nach. So kann der Schüler seine Fähigkeiten unter leicht erhöhtem Druck und anhand der eigenen Bewegungsempfindungen weiter üben. 2015 41 Implementierung 8. Implementierung Anhand des im letzten Kapitel erarbeiteten Anwendungsdesigns wurde im Zuge dieser Arbeit die Anwendung MoCapGym entwickelt, welche es Benutzern ermöglicht mittels VR Bewegungsabläufe zu erlernen und zu verfeinern. Als Entwicklungsplattform wurde die Spieleentwicklungsumgebung Unity3 herangezogen. Diese ermöglichte es alle notwendigen Module wie die Anbindung an das Trackingsystem, Netzwerkkommunikation, Rendering bzw. Feedback, User-Interface und VR innerhalb derselben Entwicklungsumgebung zu implementieren. Im nun folgenden Kapitel wird die anwendungsspezifische technische Umsetzung der Funktionalität in MoCapGym, gegliedert in Module, beschrieben. Dies ermöglicht ein harmonisches Zusammenspiel aus Motion-Capture und motorischem Lernen in einer VR-Umgebung. Darüber hinaus wurde eine strukturierte Abfolge von Lernabschnitten basierend auf Kapitel 4 Lernstadien motorischen Lernens in die Anwendung integriert, um ein optimales Lernergebnis für Benutzer zu erzielen. 8.1. Applikationsmodule Die Architektur der Applikation MoCapGym ist das Ergebnis aus den Erkenntnissen in den Bereichen motorisches Lernen, Anwendungskonzepte und natürlich dem verwendeten Trackingsystem. Abbildung 8 zeigt einen Überblick über die Architektur der Anwendung mit den dazu entwickelten Modulen. Das Trackingsystem bietet die Möglichkeit über eine Netzwerkverbindung die Bewegungsdaten abzufragen. Daher wurde die Anbindung an den iotracker per Netzwerk implementiert, welche seriell mit einer Wiederholrate von 60 Aktualisierungen pro Sekunde die aktuelle Skelettkonfiguration übermittelt. Mittels eines Parsers werden diese Informationen innerhalb der MoCapGym- Anwendung vorverarbeitet und gegebenenfalls in einer Datenbank abgelegt. Dabei wird die Datenbank in einen Bereich für Bewegungsabfolgen der Experten 3Unity Technologies: https://unity3d.com/ 42 2015 Implementierung und einen weiteren für den Benutzer unterteilt. Dies ermöglicht die Wiedergabe einer aufgezeichneten Bewegungsabfolge und somit eine genauere Analyse dieser. Ein weiteres Modul beschäftigt sich mit der Avatar-Steuerung auf der Grundlage der Echtzeitdaten bzw. der gespeicherten Daten des Trackingsystems. Abbildung 8: Architektur der entwickelten Applikation MoCapGym Der Bewegungsvergleich ist ein zentrales Element beim Erlernen von motorischen Fähigkeiten. Daher beschäftigt sich dieses Modul intensiv mit der Bewertung der individuellen Gelenksstellung anhand von Positions- und Orientierungsdaten. Diese Ergebnisse werden gemeinsam mit der 3D-Avatar- Visualisierung im Rendering-Modul fusioniert, je nach Übungscharakter angepasst und an das Ausgabegerät übermittelt. Die Interaktion mit dem Benutzer ist speziell in dieser VR-Anwendung eine Herausforderung, da üblicherweise Bewegungen des Körpers zu diesem Zweck herangezogen werden. Daher beschäftigt sich das User-Interface-Modul mit der Kommunikation zwischen dem Benutzer und dem System, um einen vollständigen Lernprozess unabhängig von einer weiteren Person durchführen zu können. Abbildung 9 stellt die für die Funktionalität des Systems notwendige Klassenstruktur dar, wobei die Farbgebung der Klassen der Module in Abbildung 8 entspricht. Die Klasse Client übernimmt die Echtzeit-Trackingdaten des 2015 43 Implementierung iotrackers und übergibt sie den XMLParser. Dieser sammelt die eintreffenden Daten zu vollständigen Paketen zusammen. Im Falle einer Aufzeichnung werden diese mit einem Zeitstempel versehen und über die Klasse Recorder in die Bewegungsdatenbank abgelegt. Für das Abspielen aus der Datenbank können die Bewegungsabläufe wieder über die Klasse Player in den XMLParser gespeist werden. Die eintreffenden Daten werden je nach Inhalt als Skeleton oder als SkeletonPose an die Klasse Avatar weitergeleitet. Um einen Vergleich zweier Bewegungsdaten zu berechnen und darzustellen greift die Klasse ComparisonPose auf die Daten der Klasse Avatar zurück. Die Klasse hingegen Control ist für die korrekte Steuerung des Prozesses zuständig und knüpft damit an die Entwicklungsplattform Unity 3D an. MoCapGui und CameraMove implementieren Funktionen des User-Interfaces. Abbildung 9: Struktur der zentralen Klassen in MoCapGym; 8.2. Netzwerk und Datenstrukturen In diesem Kapitel wird die iotracker-Anbindung beschrieben sowie die Vorbereitung der Motion-Trackingdaten für kontextabhängige essentielle Operationen. Wie bereits in Kapitel 5.1 Trackingsystem beschrieben wird der iotracker für das Erfassen von Ganzkörperbewegungen in Echtzeit herangezogen. Dieser verfügt über eine Serverkomponente, welche die 44 2015 Implementierung Skelettkonfiguration in einer standardisierten Form an einen oder mehrere Clients verteilt. Aus diesem Grund wurde auf Seite der Unity-Anwendung ein Client-Modell implementiert. Nachdem Anwendungen von Unity üblicherweise nur in einem einzelnen Thread laufen, musste parallel dazu ein unabhängiger Thread implementiert werden, um das Rendering und die dazu notwendigen Algorithmen vom teilweise sehr aufwändigen Empfangen und Parsen der Daten zu entkoppeln. Die Verbindung selbst erfolgt per Sockets unter Verwendung des TCP-Streaming-Protokolltyps. Dieser garantiert eine bidirektionale Verbindung auf Basis eines Bytestreams, wobei keine Daten dupliziert werden. Der iotracker liefert bestenfalls bis zu 60 Skelettkonfigurationen pro Sekunde. Zu Beginn einer Session und in regelmäßigen Abständen werden Metainformationen (Skeleton) übermittelt. Da die Anzahl an definierten Körperteilen je nach Übung variieren kann, beschreibt Skeleton die verwendete Skelettkonfiguration der zu jedem Update übermittelten Daten (SkeletonPose). Abbildung 10 zeigt eine Konfiguration aller Körperteile ausgenommen der Hände und Füße. Abbildung 10: Skeleton.xml – Definition aller Körperteile Abbildung 11: Skeleton-Pose.xml – Trackingdaten 2015 45 Implementierung Die Daten werden seriell in mehreren Textdateien im XML-Standard übermittelt. Die Skeleton Datei beinhaltet dabei die genaue Anzahl an verfolgten Gelenken, deren eindeutige Zuweisung einer ID und der namentlichen Bezeichnung. Diese Daten sind essentiell um die sequenziell eintreffenden Skelettkonfigurationen richtig interpretieren zu können. Abbildung 11 zeigt einen Auszug einer Skelett-Pose. Diese besteht aus einem pivotpoint, welcher die absolute Position (Vektor 3) und Orientierung (Vektor 4 - Quaternion) des Avatars beschreibt. Darauf folgt eine Anzahl von Gelenken welche über eine ID eindeutig definiert sind und deren aktuelle Orientierung (Vektor 4). Die Klasse Avatar dient dabei als Datenstruktur für eine Skelettkonfiguration und definiert die maximal mögliche Anzahl an verwendbaren Körperteilen. Wichtig für den Lernerfolg ist eine Visualisierung, welche möglichst verzögerungsfrei verläuft. Aus diesem Grund werden nur Daten zur Visualisierung weitergeleitet, wenn diese nicht älter als ein vordefinierter Wert sind - üblicherweise im Bereich von wenigen Millisekunden. 8.3. Avatar-Steuerung In der Anwendung MoCapGym werden üblicherweise zwei Avatare dargestellt: Ein Avatar setzt dabei das bereits aufgezeichnete ideale Bewegungsmuster um während der andere Avatar die in Echtzeit erfassten Bewegungen des Benutzers imitiert. Um dies zu ermöglichen müssen die eintreffenden Daten, wie in Abbildung 10 und Abbildung 11 dargestellt, in geeigneter Form für die Visualisierung vorbereitet werden. Alle eintreffenden Daten einer Session werden als Übung in einer Datenbank gespeichert. Dies ermöglicht die Aufzeichnung multipler individueller Bewegungsabfolgen. Hierbei wird die Struktur beibehalten, jedoch alle sequenziell eintreffenden Informationen global zusammengefasst und mit Abschnitten versehen. Somit können beliebig viele Bewegungen in die Datenbank aufgenommen werden. Die Recorder-Klasse übernimmt dabei die Aufgabe die Daten mittels StreamWriter in ein handliches Format zu überführen. Eine Bewegungsabfolge von einer Sekunde benötigt dabei ca. 50 kB an Speicher. 46 2015 Implementierung Eine weitere Herausforderung bestand darin sicherzustellen, Bewegungsabfolgen einerseits verlustfrei zu speichern und des Weiteren auch sicherzustellen, dass die Wiedergabe realitätsnahe und in der richtigen Geschwindigkeit erfolgt. Aus diesem Grund wurde die Klasse Player implementiert, welche sich auf die richtige zeitliche Abstimmung fokussiert und die Posen auf die Millisekunde genau an das Rendering übergibt. Da jede SkeletonPose mit einem Zeitstempel, basierend auf CPU-Ticks, versehen ist, wurden diese für das Abspielen in Echtzeit herangezogen. Darüber hinaus wurde eine Funktionalität implementiert, welche es ermöglicht die Abspielgeschwindigkeit zu beeinflussen. Abbildung 12: Trackingdaten eines Gelenks Innerhalb der Player-Klasse wurde das Setzen von Milestones implementiert. Der Benutzer bzw. der Lehrer ist damit in der Lage die Bewegung in Abschnitten zu unterteilen. Diese Milestones werden in der Datenbank permanent als Attribut von SkeletonPose gespeichert. Durch Aktivieren der Funktion Milestone wird das Abspielen der Bewegungsabfolge bei Erkennung des entsprechenden Attributs pausiert, z.B. bis der Benutzer eine ähnliche Pose eingenommen hat. Für jedes Gelenk steht zum jeweiligen Zeitpunkt eine absolute Rotation zur Verfügung (siehe Abbildung 12). Diese besteht aus einem vierdimensionalen Vektor und entspricht der Darstellung einer Rotation in Form eines Quaternions. Dies hat im Vergleich zur Darstellung mit Eulerschen Winkeln den Vorteil kontinuierliche Bewegungen und Operationen darstellen zu können. Die Winkelangaben des Gelenks entsprechen immer der Abweichung des gleichen Gelenks in der T-Pose-Stellung (siehe Abbildung 13). 2015 47 Implementierung Die Klasse Avatar ist für Steueroperationen für Avatare zuständig. Es können dabei beliebig viele Avatare gleichzeitig gesteuert werden. Anhand der SkeletonID ist es möglich, Trackingdaten mehrerer Benutzer in Echtzeit zu verarbeiten und zu visualisieren. Um die Bewegungsdaten korrekt umzusetzen werden lokale Rotationen der Gelenke mit jedem Update neu zugewiesen, indem die Ursprungsrotation, welche der T-Pose Stellung entspricht, mit der jeweils aktuellen Orientierung multipliziert wird. Hinzu kommt, dass das Setzen der neuen lokalen Rotation als interpolierte Animation zwischen der letzten und der aktuellen Orientierung implementiert wurde, um die zeitliche Auflösung des Trackingsystems zu erhöhen. Die Anwendung macht es notwendig, dass die Information des pivotpoints situationsabhängig übernommen werden kann. Die Pose dieses Punktes entspricht der absoluten Position und Orientierung des Avatars im Raum. Je nach Übungscharakter werden nur die Orientierung oder beide Werte (Orientierung und Position) für die Animation verwendet. Wichtig sind diese Anpassungen vor allem bei der Beobachtung einer Bewegungsabfolge und bei der Visualisierung der Fehler. Da die Skalierung in Unity auf Meter ausgelegt ist, mussten die Translationswerte um den Faktor 10 reduziert werden. Abbildung 13: T-Pose 48 2015 Implementierung 8.4. 3D-Modellierung Im Zuge dieser Arbeit wurden zwei Avatare modelliert, welche auf unterschiedlichen Konzepten basieren und unterschiedliche Abstraktionsebenen darstellen/ermöglichen sollen. Wichtig für das Design von 3D-Avataren ist der richtige Aufbau des Skeletts in Übereinstimmung mit den Daten des Trackingsystems. Wie in Abbildung 14a ersichtlich, wurde die Hierarchie des Skeletts vom Zentrum des Körpers aus aufgebaut und ist somit in Ober- und Unterkörper unterteilt. Der Ursprung der Avatare befindet sich dadurch im Becken. Für das Erstellen der Modelle wurde die 3D-Visualisierungs- und Animationssoftware Maya4 von Autodesk herangezogen. Als erster Schritt wurde ein abstraktes, voll funktionsfähiges Modell erstellt. Der Avatar Blockman (siehe Abbildung 14c) basiert auf skalierten, primitiven, geometrischen Formen (Würfel und Kugel). Um einzelne Körperteile im richtigen Ankerpunkt rotieren zu können wurden die pivotpoints aller Körperteile jeweils in das, in der natürlichen Hierarchie darüberlegende, Gelenk verschoben (siehe Abbildung 14.b). Dies ermöglicht es ohne aufwendiger Skelettstruktur oder eines texturierten Meshes, eine ganzkörperliche Bewegung darzustellen. Des Weiteren ermöglicht dieser Aufbau bereits eine breite Auswahl an visuellen Feedbackmöglichkeiten. (a) (b) (c) Abbildung 14: (a) Hierarchie des Skeletts; (b) Avatar-Modell aus primitiven geometrischen Formen (c) Visualisierung in MoCapGym 4 http://www.autodesk.com/education/free-software/maya 2015 49 Implementierung In einem weiteren Schritt wurde ein realistischer Avatar Meshman (siehe Abbildung 15) modelliert. Dieser bietet grundsätzlich die gleichen Feedbackmöglichkeiten wie der zuvor modellierte Blockman, ist jedoch im Erscheinungsbild realer und erleichtert es dem Benutzer dadurch eventuell einen Bezug zu seinem Avatar herzustellen. Bei der Modellierung unterscheiden sich die beiden Avatare in jeder Hinsicht. Ziel bei der Modellierung war es, trotz eines gesamtheitlichen, zusammenhängenden Meshes, jeden einzelnen Körperteil mit unterschiedlichen Visualisierungsparametern belegen zu können. In einem ersten Schritt war es notwendig, ein geeignetes Mesh eines Menschen zu generieren (siehe Abbildung 15a). Danach musste mittels joints eine passende Skelettstruktur in Übereinstimmung an die Hierarchie (siehe Abbildung 15c) generiert werden. Das Skelett, bestehend aus einer Vielzahl von Gelenken, (siehe Abbildung 15b) wurde in einem nächsten Schritt an das Mesh gebunden und der Wirkungsbereich einer Gelenksrotation auf die Meshstruktur genau justiert. Um innerhalb von MoCapGym auf individuelle Körperteile zugreifen zu können, wurde das Mesh in Abhängigkeit der Gelenke unterteilt, jedoch ohne diese voneinander zu lösen. Dies ermöglicht ein Zuweisen von implementierten Shadern je Körperteil in der Entwicklungsumgebung Unity. (a) (b) (c) Abbildung 15: Meshman-Avatar (a) Mesh mit Unterteilungen (b) Skelettstruktur (c) Meshman in MoCapGym 50 2015 Implementierung Avatare im proprietären Format von Maya können mit wenigen Anpassungen mittels des internen Importers von Unity innerhalb der Anwendung integriert und verwendet werden. Die Szene der Anwendung wurde einfach gehalten um unerwünschte Ablenkungen und Kontrastprobleme zu vermeiden. Der virtuelle Trainingsraum besteht aus mehreren Flächen und diversen Lichtquellen für eine optimale Beleuchtungssituation. Aufgrund der Tatsache, dass das System mit realen Daten arbeitet, war es notwendig die Größe des Benutzers bei der Animation der Avatare zu berücksichtigen. Dies erfolgt automatisch während der notwendigen Kalibrierungsphase (siehe Kapitel 5.1 Trackingsystem). Während der Benutzer die sogenannte T-Pose einnimmt, wird der Avatar in der Höhe angepasst, sodass die Bounding-Box des Avatars den virtuellen Boden berührt. Die dadurch entstehende Höhe wird in Folge in jedem Frame berücksichtigt. 8.5. Bewegungsvergleich und Feedback Ein zentraler Punkt der Anwendung beschäftigt sich mit dem visuellen Vergleich von Bewegungsabfolgen zweier Avatare. Die Herausforderung einer verständlichen und sinnhaften Beschreibung der Unterschiede in der Bewegung des Benutzers wurde in der Klasse ComparisonPose umgesetzt. MoCapGym ermöglicht es multiple Avatare in der Szene gleichzeitig mit unterschiedlichen Quellen zu verwalten. Im Trainingsmodus werden zwei Avatare eingeblendet, welche zur Fehlervisualisierung herangezogen werden können. In einem ersten Schritt ermöglicht ComparisonPose dem Benutzer die beiden Avatare übereinander zu legen und so Abweichungen erkennen zu können. Diese Comparison-Matching-Methode erfolgt in zwei Schritten. Zunächst werden beide Avatare am Knotenpunkt der Hüfte anhand der globalen Position ausgerichtet, da dieses Gelenk die Wurzel der Skelettstruktur bildet. In einem zweiten Schritt wird wahlweise der Shader des Benutzers oder des vorführenden Avatars angepasst, indem seine Transparenz erhöht wird, um damit eine bessere Unterscheidung zu ermöglichen. Diese Variante wurde implementiert um den Benutzer einerseits den Einstieg in eine Bewegungsabfolge zu erleichtern und andererseits komplexe Positionen im Standbild leichter nachahmen zu können. 2015 51 Implementierung Abbildung 16: Comparison-Matching- und Color-Feedback-Methoden in MoCapGym Die Implementierung der Color-Feedback-Methode wird auch beim Einsatz der in Kapitel 8.3 Avatar-Steuerung beschriebenen Milestones verwendet. Milestones verursachen ein Pausieren des vorzeigenden Avatars. Durch die Berechnung des Bewegungsvergleiches kann ein automatisches Fortfahren ausgelöst werden, sobald sich der Benutzer zum Zeitpunkt eines Milestones in einer ähnlichen Pose befindet. Die Toleranz wird dabei durch den Wert milestoneTolerance als relativer Fehler definiert. Dies ermöglicht ein schrittweises Erlernen einer komplexen Bewegungsabfolge. 8.6. User Interface Die Applikation ist aus Sicht des Interfaces, aufgrund der unterschiedlichen Anforderungen während des Setups und der Übung, in zwei Bereiche gegliedert. Anforderungen wie genaue Definition bzw. Vorbereitung der Umgebung stehen hier der visuellen Darstellung und der Umsetzung des Feedbacks gegenüber. Das Setup beschreibt den Vorgang der notwendig ist, bevor eine Aufzeichnung oder eine Übungseinheit durchgeführt werden kann. Hier ist es notwendig aktiv 2015 53 Implementierung Parameter zu setzten und Bewegungsmuster bzw. den Übungscharakter zu definieren. Wohingegen in der eigentlichen Übung die vom Betreuer durchgeführten Anpassungen und Adaptionen, wie zum Beispiel die des Schwierigkeitsgrades, für den Benutzer unsichtbar umgesetzt werden müssen. Um das Setup zu konfigurieren stehen dem Benutzer drei Werkzeuge zu Verfügung. Für permanente Einstellungen wurde ein config.xml (siehe Abbildung 17) erstellt, welches üblicherweise konstante Werte, wie den Servernamen und dessen URL, beinhaltet, aber auch Werte verwaltet, welche nach einem Neustart der Applikation immer noch wichtig sind. Diese Datei wird im Zuge der Applikationsinitialisierung geladen. Abbildung 17: Für permanente Einstellungen steht ein „config.xml“ zur Verfügung Nach Programmstart steht dem Benutzer ein kompaktes graphisches Interface mit verschiedenen Funktionen zur Verfügung (siehe Abbildung 18a). Um einen neuen Nutzer für das Trackingsystem zu kalibrieren ist es notwendig, eine spezifische Bewegung durchzuführen. Diese kann dem Benutzer durch drücken von Play calibration movement vorgeführt werden. Der darunter liegende Button führt diese Kalibrierung aktiv durch. Des Weiteren besteht die Möglichkeit verschiedene Bewegungsabfolgen zu laden, wobei die Unterscheidung zwischen Ganzkörperbewegung oder einer auf den Oberkörper reduzierten Bewegung getroffen werden kann. 54 2015 Implementierung (a) (b) Abbildung 18: (a) User Interface für Kalibrierung; (b) Feedbackdialog während der Übung Nach Abschluss der Konfiguration kann mit der Übung begonnen werden. In dieser Phase wird das GUI durch eine kleine Feedback Ausgabe (siehe Abbildung 18b) ersetzt. Dies hat den Vorteil, dass genügend Platz am Ausgabegerät für zumindest zwei Avatare zur Verfügung steht. Die Steuerung der notwendigen Funktionalitäten wird daher auf Tastatureingabe beschränkt. Im nun Folgenden werden alle Manipulationsmöglichkeiten durch die Tastatur beschrieben. • F2 – Aufbauen bzw. trennen der Verbindung zum Server und initialisieren des Avatars • F6 – Ein. bzw. ausblenden des Lehrer-Avatars • F5 – Start bzw. beenden einer neuen Bewegungsabfolge und speichern dieser in der Datenbank • P – Abspielen bzw. pausieren des Lehrer-Avatars • F3 – Ein- bzw. ausschalten der Comparison-Matching-Methode • F4 – Ein- bzw. ausschalten der Color-Feedback-Methode • M – Übereinanderlegen der beiden Avatare • Bild auf – Abspielgeschwindigkeit erhöhen • Bild ab – Abspielgeschwindigkeit erniedrigen • I,J,K,L – Position des Lehrer-Avatar in der Ebene anpassen • W,A,S,D,Y,X – Position der Kamera im Raum beeinflussen • ALT – Maus-Orientierung der Kamera • Q – Aufräumen bzw. abschließen aller offenen Aufgaben (speichern, trennen vom Server, …) 2015 55 Implementierung 8.7. Funktionen für den aktiven Lernprozess Die Applikation MoCapGym ist dank der oben beschriebenen Implementierung in der Lage eine Vielzahl an Funktionen für einen aktiven Lernprozess eines ganzheitlichen Bewegungsablaufs bereitzustellen. Dies ermöglicht es nun die in Kapitel 6.3 Anwendungsdesign erarbeiteten Anforderungen an eine interaktive 3D-Anwendung für den vorliegenden Anwendungsfall zu erfüllen. Die Funktionalität der Anwendung können in vier Bereiche gegliedert werden: Basisfunktionalität, Animationssteuerung, Interaktion und Feedback. Als Basisfunktionalität stehen dem Benutzer Methoden aus dem Bereich der Bewegungserkennung zur Verfügung. Aufbau der Verbindung zum Trackingserver ist hier ein zentraler Punkt, genauso wie die Verarbeitung der Gelenksdaten. Dem Benutzer steht damit die Möglichkeit zur Verfügung verschiedene Bewegungsabläufe permanent zu speichern und zu einem beliebigen Zeitpunkt abzurufen. Für die Animation stehen zwei Avatare in unterschiedlicher Abstraktionsebene zur Verfügung. Beliebig viele dieser Avatare können in die Übungseinheit integriert werden, wobei deren Bewegungsmuster entweder aus der Datenbank entnommen werden können oder deren Steuerung direkt durch den verfolgten Benutzer erfolgt. Auch ein temporäres Ausblenden von Avataren ist möglich. Die Interaktionsmöglichkeiten des Schülers und des Lehrers überschneiden sich je nach Anwendungsszenario. Um eine geeignete Kontrolle über die automatisch animierten Avatare bereitzustellen, hat der Benutzer die Möglichkeit einer Wiedergabesteuerung bestehend aus Pausieren der Animation, Anpassen der Abspielgeschwindigkeit, Zurückspulen der Bewegung und Zurücksetzen des Avatars in eine Standard-Pose. Auch ein Übereinanderlegen mehrerer Avatare unabhängig von deren Positionen ist möglich. Als weiteres Feature bietet MoCapGym die Anpassung der Perspektive von welcher aus die Szene bzw. die Avatare betrachtet werden. Der lehrenden Person ist es möglich für komplexere bzw. längere Bewegungsabfolgen sogenannte Milestones zu definieren. Diese können beim Abspielen berücksichtigt werden, wodurch die Animation automatisch stoppt. Für das Fortfahren kann entweder die Play-Taste verwendet werden oder aber auch das Maß an Übereinstimmung des Benutzers herangezogen werden. 56 2015 Implementierung MoCapGym ist durch die beschriebe Implementierung in der Lage in unterschiedlicher Form Feedback darzustellen. Der Benutzer kann aus zwei Varianten des Bewegungsvergleichs wählen oder diese auch kombinieren. Der Vergleich ist sowohl während einer Übungseinheit möglich, kann aber auch bei der Verwendung von zwei Aufzeichnungen eingesetzt werden. 2015 57 Evaluierung 9. Evaluierung Um die Eignung des Prototypen MoCapGym für das Erlernen von sportmotorischen Fähigkeiten grundlegend zu analysieren, wurde eine Benutzerstudie durchgeführt. Im Zuge dieser wurden mehrere Benutzer dabei beobachtet, wie sie einen Bewegungsablauf mit Unterstützung des in dieser Arbeit entwickelten Systems erlernten. Dabei sollte untersucht werden, ob sich die Bewegungen des Lernenden wie vorgesehen in der VR-Umgebung leiten lassen, und sich auf diese Weise ein Bewegungsablauf einstudieren lässt. Des Weiteren soll Verbesserungspotential aufgezeigt werden. Es war nicht Ziel der Studie herauszufinden, ob dieser Ansatz einer herkömmlichen Methode überlegen ist, beispielsweise welche den besseren Lernerfolg bringt. Auch das Design des User Interfaces war nicht Schwerpunkt. 9.1. Setup der User Tests Zur Evaluierung des Prototypen der VR-Lernumgebung kam das bereits in Kapitel 5 VR-Setup beschriebene Setup zum Einsatz. Ein iotracker-System mit 8 Kameras auf zwei gegenüberliegenden Wänden ermöglicht einen 4 m x 4 m großen Interaktionsbereich mit etwa 3 m Höhe. Um die Lage der Körperteile eines Benutzers präzise bestimmen zu können, wurde ein aktiver Motion-Suit eingesetzt, der in einem anderen Projekt speziell für den Bereich Sport entwickelt wurde (siehe Kapitel 5.2 Motion-Suit). Mit diesem lassen sich vom Kopf über den gesamten Körper bis zu den Füßen alle Teile des Körpers verfolgen, je nachdem welche LEDs zuvor eingeschalten wurden. Für die Evaluierung wurden die LED- Konfigurationen für Nacken, Schultern, Ellbogen, Hüfte, Becken und Knie aktiviert. Nach einer kurzen Kalibrierung liefert das iotracker-System automatisch die entsprechenden Positionen bzw. Orientierungen per Netzwerk-Protokoll an die Applikation MoCapGym. Eine visuelle Ausgabe erfolgte mit Hilfe eines Projektors an eine der Wände des Raumes. Die Bewegungsaufgaben welche von den Testpersonen im Rahmen der Evaluierung erlernt werden sollten, wurden vom Autor selbst zuvor aufgezeichnet. Um das Erlernen innerhalb nur einer Session zu ermöglichen 58 2015 Evaluierung wurden drei simple Bewegungsabläufe gewählt: Bei der einfachsten Bewegungsabfolge werden die Arme abwechselnd von der Hüfte aus nach vorne bzw. seitlich ausgestreckt und wieder zurück zur Hüfte geführt. Ein zweites Beispiel beinhaltet verschiedene Armbewegungen sowie neigen des Kopfes und heben der Knie. Die komplexeste Aufgabe ähnelt dem bekannten Makarena- Tanz, worin die Arme verschiedene Positionen am Körper einnehmen, gefolgt von einer gesprungenen Drehung um 90°. In einem Pretest hat sich gezeigt, dass diese Drehungen den Benutzer dazu veranlasst seinen Kopf zur Projektion hin zu wenden, wodurch ein Fehler seiner Haltung provoziert wird und damit für Verwirrung sorgt. Aus diesem Grund wurde in der Studie auf diese Aufgabe verzichtet. 9.2. Prozedur Zur Evaluierung des Prototyps wurden qualitative Methoden herangezogen, nämlich eine direkte Beobachtung gefolgt von einem teilstrukturierten Interview. Eine Testperson absolvierte die verschiedenen Phasen (siehe Kapitel 7 Entwurf des Lernkonzepts) während Beobachter das Geschehen konzentriert verfolgten. Video-, Audio- sowie Bildschirmausgabe des gesamten Tests wurden aufgezeichnet und erlaubten somit später eine genaue Analyse von Details. Das ebenfalls durchgeführte Interview bestand aus zwei Teilen (siehe Appendix A Fragebogen). Der erste Teil wurde von der Testperson vor der eigentlichen Studie selbst ausgefüllt und erfragte allgemeine Fakten zur Person, wie etwa Geschlecht, Alter, Vorerfahrungen etc. Der zweite Teil wurde erst nach dem Test ausgefüllt und diente dem Beobachter als Leitfaden für das durchgeführte teilstrukturierte Interview. Darin wurden detaillierte Fragen zur persönlichen Erfahrung während des Tests gestellt. Die teilstrukturierte Vorgehensweise erlaubt hierbei ein näheres Eingehen auf interessante Antworten, ein Klarstellen von Unklarheiten oder auch ein Reagieren auf Unerwartetes. Um eine Vergleichbarkeit der einzelnen Testdurchläufe zu garantieren, wurde vorab ein genauer Testablauf festgelegt. Zuerst wurde der Testperson in einer kurzen Einführung die Vorgehensweise erklärt. Dabei wurde erläutert, dass der Studienteilnehmer einfache Bewegungsabläufe erlernen wird, mit Hilfe von 2015 59 Evaluierung verschiedenen Phasen in einer VR-Umgebung. Der Einfachheit wegen übernahm der Beobachter die Steuerung und gab auch verbale Erklärungen der verschiedenen Bewegungen. Außerdem wurde versucht klarzustellen, dass nicht die Leistung oder Lernfähigkeit des Teilnehmers getestet wurde, sondern ausschließlich die Eigenschaften des Systems. Danach zog die Testperson den Motion-Suit an, wobei der Beobachter Hilfestellung leistete falls notwendig. Die Ausgabe des Trackingsystems in der Projektion wurde nun gleich dazu verwendet eine kurze Einführung in Motion- Tracking und Eigenheiten des Systems zu geben, sowie die Funktion der LEDs sicherzustellen. Die Video-, Audio- und Bildschirm-Aufzeichnung wurde gestartet und der Benutzer gebeten, die Kalibrierungsbewegung durchzuführen. Als Hilfe wurde der Hinweis gegeben, möglichst alle Gelenke gleichzeitig und langsam zu Bewegen und auch die Aufzeichnung einer typischen Kalibrierungsbewegung in der Projektion abgespielt. Nach erfolgreicher Kalibrierung konnten die in Kapitel 7 Entwurf des Lernkonzepts beschriebenen Aufgaben durchgeführt werden. Je nach Komplexität der Bewegung und Präferenz des Teilnehmers durfte auch zwischen den Phasen gewechselt werden. Um sich einzugewöhnen sollte zuerst frei mit dem System und dem eigenen Avatar experimentiert werden, entsprechend Phase 1 des Lernkonzepts. Nachdem der Beobachter die Bewegungsaufgabe verbal erklärt hatte, wurde der Lehrer-Avatar aktiviert und jener des Schülers ausgeblendet. Der Lernende konnte nun in Phase 2 sein Verständnis der Aufgabe durch Beobachtung weiter vertiefen und auch damit beginnen die Bewegungen nachzumachen. Sobald sich der Schüler dazu bereit fühlte wurde sein Avatar wieder eingeblendet und neben dem Lehrer-Avatar dargestellt um in Phase 3 einen direkten Vergleich zu ermöglichen. Wirkten die Bewegungen zunehmend flüssig wurde die geleitete Übung Phase 4 mit Farbdarstellung der Abweichungen aktiviert und der Lehrer-Avatar nach einiger Zeit deckend über den Schüler-Avatar gelegt (Abbildung 19). Waren gröbere Abweichungen nur noch selten, wurde der Lehrer-Avatar abschließend ausgeblendet und der Teilnehmer sollte die erlernten Bewegungsabläufe ohne Vorlage vorführen. Auf den Einsatz von Milestones entsprechend Phase 5 wurde in der Evaluierung verzichtet, da nach so kurzer 60 2015 Evaluierung Zeit nicht erwartet werden konnte, dass die Bewegungen fehlerfrei reproduziert würden und diese Phase daher eher für Frustration sorgen könnte. Abbildung 19: Farbdarstellung der Abweichungen deckend mit dem Schüler-Avatar Nachdem alle Phasen und Bewegungsabfolgen abgeschlossen waren, durfte sich der Teilnehmer noch weiter spielerisch mit dem System beschäftigen. Außerdem wurde nun die gleiche Szene der VR-Anwendung auch noch auf einem HMD, dem z800 3D Visor von eMagin5, gezeigt, allerdings in 2D, also ohne stereoskopische Darstellung. Das weitere Experimentieren sollte noch unerwartetes Verhalten oder gewünschte weitere Funktionen aufzeigen. Am Ende der Testsession wurde die Aufzeichnung gestoppt und der Teilnehmer durfte sich den Motion-Suit ausziehen. Nach einer kurzen Erholungspause von etwa 15 Minuten wurde das teilstrukturierte Interview durchgeführt um die Erfahrungen während des Testdurchlaufs sowie Ideen des Teilnehmers zu erfragen. So wurde gefragt, ob dieser das Gefühl hatte die Bewegungsabläufe gelernt zu haben und ob er diese auch aus dem Gedächtnis wiederholen könne. Auch ob es möglich war die Avatare problemlos eindeutig zuzuordnen wurde eruiert. Eine weitere Frage bezog sich darauf, ob die farbliche Kennzeichnung der Abweichung der Gelenke 5 eMagin: http://www.emagin.com/ 2015 61 Evaluierung als hilfreich empfunden wurde und ob die Darstellung nebeneinander oder deckend bevorzugt wurde. Es wurde auch erfragt ob sich der Teilnehmer eine andere Darstellung als die Projektion an die Wand vorstellen könnte, wie beispielsweise auf einem HMD, und ob er diese vielleicht sogar bevorzugen würde. Abschließend sollte auch noch eine Gesamtwertung für die VR-Lernumgebung nach dem Schulnotensystem von 1 (beste Bewertung) bis 5 (schlechteste Bewertung) vergeben werden. Insgesamt war kein Limit für die Dauer einer Testsession im Voraus festgelegt um ein stressfreies Lernen und Experimentieren ohne Zeitdruck zu ermöglichen. Je nach Interesse und Motivation der Teilnehmer dauerte ein Testdurchlauf inklusive Interview zwischen 1,5 und 2 Stunden. 9.3. User Tests Beobachtungen Um sicherzustellen, dass der geplante Testablauf funktioniert, wurde mit einer Person ein Pretest durchgeführt. Dabei zeigten sich keine größeren Probleme, nur einige der einführenden Erklärungen sowie der Interviewfragen wurden etwas präzisiert. An der anschließend durchgeführten Evaluierung nahmen insgesamt 5 Personen teil. Eine Teilnehmerin war weiblich, alle übrigen männlich, alle waren zwischen 25 und 30 Jahren alt. Alle gaben an, dass sie entspannt und motiviert waren, nur zwei Personen fühlten sich müde. Niemand beschrieb sich als gestresst oder gelangweilt. Der initiale Kalibrierungsprozess konnte mit allen Testpersonen erfolgreich durchgeführt werden, obwohl sich die Bewegungen teilweise stark von jenen der vorgezeigten Beispielbewegung unterschieden. Die Teilnehmer nannten selbst keine merklichen technischen Probleme während der Testdurchläufe, nur größere Personen gaben an, dass der Motion-Suit etwas zu eng sei. Eine Person merkte außerdem an, dass sie sich beim Vornüberbeugen etwas eingeschränkt fühlte. Der Beobachter bemerkte während eines Tests Erkennungsschwierigkeiten des linken Armes. Während des anfänglichen Eingewöhnens (Abbildung 20) konnte beobachtet werden, dass alle Teilnehmer sich sehr langsam und vorsichtig bewegten. Des Weiteren wurden die eigenen Bewegungen in der Projektion sehr genau 62 2015 Evaluierung betrachtet. Nach kurzer Zeit wurden aber bei allen die Bewegungen merklich sicherer und natürlicher. Abbildung 20: Benutzer mit angelegtem Motion-Suit in der Eingewöhnungsphase Die zwei bereits in Kapitel 9.1 Setup der User Tests beschriebenen Bewegungsabläufe wurden nacheinander gelernt. Während der Beobachtung des Lehrer-Avatars wollten nur zwei Testpersonen die Perspektive ändern, beide kehrten aber sehr bald wieder zur ursprünglichen frontalen Ansicht zurück. Generell wurde nur sehr kurz beobachtet, alle begannen sehr schnell die Bewegungen nachzuahmen. Das Nachahmen geschah immer zuerst merklich zögerlich und der Vorführung des Lehrer-Avatars hinterher. Dabei ließ sich gut beobachten, wie sich ein Verständnis des Ablaufs bildete. In der nachträglichen Videoanalyse fiel besonders auf, dass der Kopf generell stark auf die Projektion fixiert war. Mit Einblenden des Schüler-Avatars wurden die Teilbewegungen der Körperteile immer noch größtenteils reaktiv nach denen des Lehrer-Avatars durchgeführt, jedoch bei immer kürzerem zeitlichem Abstand. Teilweise bewegten sich die Teilnehmer aber auch schon gleichzeitig oder sogar vorzeitig in Antizipation der folgenden Aktion, besonders bei gleichen Abfolgen die direkt aufeinander folgten, beispielsweise zuerst mit einem Arm und dann mit dem 2015 63 Evaluierung anderen. Alle Testpersonen gaben während dieser Phase Anweisungen wie nahe die beiden Avatare nebeneinander stehen sollten. Eine wollte diese Position auch später noch einmal nachkorrigieren. Auffallend war auch, dass sich ein Teilnehmer für einige Zeit selbst leicht seitlich drehte um seine Bewegungen aus dieser Perspektive zu betrachten. Nach Aktivieren des Farbvergleichs zeigten bereits von Anfang an alle Teilnehmer ein unerwartet hohes Maß an Übereinstimmung mit dem Lehrer-Avatar. Auffallend waren häufige Fehler der Kopfposition aufgrund des Blicks zur Projektion an der Wand. Um das korrekte Nachahmen zu erleichtern, wurde der Lehrer-Avatar zuerst langsamer abgespielt, aber alle Teilnehmer verlangten schon nach sehr kurzer Zeit eine Wiedergabe in Normalgeschwindigkeit. Ein Benutzer wollte die Perspektive ändern um die Schultern von leicht oben besser betrachten zu können (Abbildung 21). Abbildung 21: Veränderte Perspektive Dieselbe Testperson wie zuvor wollte sich auch in dieser Phase wieder seitlich drehen (Abbildung 22), da aber dadurch sofort eine Reihe von Körperteilen rot eingefärbt wurden, drehte er sich sofort wieder zurück. Im späteren Interview konnte er leider keine Angaben zum Grund dieses Verhaltens machen da ihm 64 2015 Evaluierung dieses scheinbar nicht selbst bewusst war. Im Vergleich zu den anderen Phasen wurde diese von allen Teilnehmern am längsten gemacht. Abbildung 22: Durch seitliche Drehung des Benutzers stimmen diverse Körperteile nicht Die einstudierten beiden Bewegungsabläufe wurden bei der abschließenden Wiedergabe von allen Teilnehmern in angemessener Geschwindigkeit und Korrektheit ausgeführt. Insgesamt wurden alle Abfolgen erfolgreich erlernt, was sich auch im anschließenden Interview bestätigte. Verschiedene Äußerungen und Verhaltensweisen während der Tests ließen erkennen, dass alle Testpersonen Spaß an den Übungen hatten und auch durch den Farbvergleich merklich angespornt wurden. Auch nach dem eigentlichen Testdurchlauf experimentierten alle bis auf einen noch weiter mit der VR-Anwendung obwohl sie nicht vom Beobachter besonders auf diese Möglichkeit hingewiesen worden sind. Im abschließenden teilstrukturierten Interview etwa 15 Minuten nach der Testsession gaben alle Teilnehmer an, die Bewegungsabläufe erlernt zu haben und auch aus dem Gedächtnis noch wiedergeben zu können. Jener Teilnehmer, der anfängliche Probleme mit der Erkennung des linken Armes hatte, erklärte, dass sein Lernprozess beim ersten, einfacheren Ablauf öfter unterbrochen wurde, und daher eher nur der zweite, komplexere Ablauf im Gedächtnis 2015 65 Evaluierung geblieben sei. Alle Testpersonen bestätigten, die Rollen von Lehrer und Schüler sofort erkannt zu haben. Einer begründete dies noch mit den direkten Reaktionen auf die eigenen Bewegungen und dass sich die Rolle des Lehrers damit aus der Situation ergab. Die Funktion der farblichen Darstellung der Abweichungen empfanden alle als hilfreich, wobei zwei Personen noch besonders die motivierende Wirkung hervorhoben, die sich aus dem Versuch ergab, seinen Avatar möglichst grün zu bekommen. Aus den Aussagen zur Darstellung der Avatare nebeneinander oder deckend, ließ sich keine klare Präferenz ableiten. Alle Teilnehmer gaben an, dass beides seine Vorzüge hatte. Zwei erklärten genauer, dass die Darstellung nebeneinander sich besser für das Einstudieren der Bewegung eignete, während die deckende Darstellung eher zum Überprüfen des Erlernten diente. Bei der Frage, ob ein anderes Ausgabegerät, beispielsweise das HMD, besser geeignet wäre, gaben alle Testpersonen dem Projektor den Vorzug. Als Argumente wurde das große Bild des Projektors an der Wand von allen genannt, sowie von jeweils einer Person die Tatsache, dass man sich besser an der Umgebung orientieren könne und der Projektor intuitiver sei. Als Schulnote für das System wurde mit drei Mal die Note 1 und zwei Mal die Note 2 vergeben, was eine durchschnittliche Bewertung von 1,4 entspricht. 66 2015 Ergebnisse 10. Ergebnisse Anhand der durchgeführten Evaluierung lassen sich eine Reihe von Schlüssen ziehen. Es zeigte sich, dass die anfängliche Eingewöhnungsphase wichtig ist, denn erst nach einiger Zeit bewegten sich die Benutzer sicher und natürlich. Die Möglichkeit die Perspektive an seine persönlichen Präferenzen anzupassen, wurde nur sehr wenig in Anspruch genommen. Das könnte einerseits daran liegen, dass man bereits in der voreingestellten Ansicht alle notwendigen Details gesehen hat und eine Anpassung daher nicht erforderlich war. Allerdings wäre es auch möglich, dass die zu erlernenden Abläufe zu einfach waren und im Falle einer komplexeren Bewegungsabfolge die Perspektive als auch die Geschwindigkeit öfter geändert worden wäre. Anhand eines komplexeren Ablaufs hätte sich allerdings die Zeit einer Testsession massiv verlängert und sich möglicherweise nicht der gesamte Lernprozess beobachten lassen. Eine Testperson drehte sich selbst leicht seitlich, was eventuell als Hinweis interpretiert werden könnte, dass die Steuerung durch den Beobachter für den Benutzer eine mentale Hürde darstellte und aus diesem Grund die Perspektive nicht oft verändert wurde. Generell begannen die Testpersonen schon sehr bald neben der Beobachtung des Bewegungsablaufs des Lehrer-Avatars, diesen selbst nachzuahmen. Des Weiteren zeigte sich bei Aktivieren der Farbdarstellung der Abweichungen, dass die Lernenden zu diesem Zeitpunkt die Bewegungen bereits weitgehend autonom und verhältnismäßig korrekt durchführen konnten. Sowohl die Beobachtungen während der Tests als auch die teilstrukturierten Interviews bestätigten, dass der Level des Feedbacks der verschiedenen Phasen adäquat war und auch die Wandspiegel- und Ghost-Metaphern sehr gut angenommen und verstanden wurden und eine motivierende Wirkung hatten. Die Darstellung mit Hilfe eines Projektors an der Wand wurde klar gegenüber der Verwendung eines HMDs bevorzugt. Hingegen ließ sich bei der Positionierung der Avatare nebeneinander oder deckend keine klare Präferenz ableiten. Dies bestätigt, dass eine VR-Lernumgebung einen gewissen Grad an Flexibilität aufweisen sollte um sich an unterschiedliche Vorlieben von Lernenden anpassen zu lassen. Alle Teilnehmer hatten Spaß bei der Verwendung der VR-Anwendung und lernten die Bewegungsabfolgen im Rahmen der 2015 67 Ergebnisse Evaluierung, was sich auch anhand der eigenen Beurteilung der Testpersonen bestätigte. Im Rahmen dieser Arbeit wurde anhand einer Analyse verschiedener Anwendungskonzepte und unter Berücksichtigung verschiedener verbreiteter Lerntheorien, Anforderungen an eine VR-Lernumgebung für motorische Fähigkeiten erstellt. Die gewonnenen Erkenntnisse wurden in Design und Implementierung einer prototypischen Anwendung umgesetzt. Diese ermöglicht einem Lehrer das Erstellen von verschiedenen Übungen und einem Schüler autonomes Lernen von Bewegungsabläufen. Das entwickelte Feedbacksystem, mit Darstellung und Bewertung von Bewegungen in Echtzeit, erwies sich als angemessen. Während der Evaluierung des Prototyps ließen sich die Bewegungen von Benutzern erfolgreich leiten und einfache Bewegungsabfolgen vermitteln. Verschiedene Beobachtungen ließen deutliche Parallelen zu den Lernprozessen erkennen, welche in Kapitel 4 Lernstadien motorischen Lernens beschrieben wurden. Dies verdeutlichte, wie eine Kombination aus traditionellen Theorien und den Möglichkeiten einer VR-Lernumgebung diese Prozesse optimal unterstützen kann. Zusammenfassend lässt sich behaupten, dass die zentrale Hypothese dieser Arbeit bestätigt werden konnte: Eine speziell für das Erlernen komplexer motorischer Fähigkeiten konzipierte Virtual-Reality-Umgebung kann durch traditionelle Theorien der Bewegungslehre und unmittelbares Feedback zum Lernerfolg führen. 68 2015 Ausblick 11. Ausblick In der vorliegenden Arbeit wurde die Problematik des autonomen Erlernens von komplexen Bewegungsabfolgen behandelt und ein Lösungsansatz präsentiert, ausgearbeitet und erfolgreich getestet. Die Beiträge der Arbeit zum aktuellen Stand der Technik sind sowohl theoretischer als auch praktischer Natur und in den Bereichen motorisches Lernen, Virtual Reality, Visualisierung, Übungskonzepte und visuelles Feedback in dynamischen 3D-Umgebungen verankert. Zunächst wurden Theorie und Praxis des motorischen Lernens untersucht und mit den technischen Möglichkeiten in VR-Umgebungen in Zusammenhang gesetzt. Die Beleuchtung und die konzeptionelle Entwicklung verschiedenster Anwendungskonzepte zeigten die Anforderungen an die technische Umsetzung für beliebige Bewegungsabfolgen auf. Zusätzlich wurden traditionelle didaktische Modelle herangezogen um eine sechsstufige Übungsstruktur zu entwickeln, welche speziell für das Einsatzgebiet von Motion-Tracking und Virtual Reality zugeschnitten ist. Die daraus entstandenen Anforderungen wurden in der Lernapplikation MoCapGym umgesetzt. Diese ermöglicht das Vermitteln von komplexen Bewegungsabfolgen für ein breites Anwendungsfeld. Die Benutzer können autonom trainieren, mit der Sicherheit die Bewegungen korrekt durchzuführen und unmittelbares visuelles Feedback zu erhalten. Dabei ist es für den Experten möglich, sich an spezifischen Stellen in die Erstellung der Übung einzubringen. Das entwickelte Übungskonzept und die gesamte Funktionalität von MoCapGym wurden mit fünf Personen in einer Benutzerstudie erfolgreich getestet. Zurzeit ist ein optisches Trackingsystem wie der iotracker mit einer Genauigkeit von unter einem Millimeter und einem 8 Kamerasystem notwendig, um alle Bewegungen ohne Verdeckungen verlässlich erfassen zu können. Als Alternativen können jedoch jüngste Entwicklungen wie der Perception Neuron6 in Betracht gezogen werden. Dabei handelt es sich um einen Motion-Capture-Suit basierend auf Inertialsensoren, welcher durch einen moderaten Preis und akzeptable Genauigkeit für eine mobilere und leichter 6 Perception Neuron: https://neuronmocap.com/ 2015 69 Ausblick zugängliche Anwendung spricht und damit auch die Anwendung zuhause realistisch macht. Die in dieser Arbeit entwickelte Umgebung kann durchaus als Grundlage für weitere Forschungsaspekte herangezogen werden. Interessante Gebiete wie Interaktion, Visualisierung und Analyse können das System weiter für den Endanwender verbessern. Hierbei wäre die Einbindung weiterer Hardwarekomponenten zur Interaktion mit der Lernumgebung zu erwähnen. Des Weiteren könnte eine phasenübergreifende statistische Auswertung des Fortschritts sowohl dem Lehrer als auch dem Schüler einen besseren Überblick vermitteln. Auch die Analyse verschiedener Fehlervisualisierungen bei der Vermittlung motorischer Fähigkeiten in 3D wurde in der Literatur noch nicht im Detail behandelt und bietet somit ein weiteres interessantes Forschungsgebiet. 70 2015 Appendix Appendix A. Fragebogen 2015 71 Appendix 72 2015 Appendix B. Literatur Chun-Hong Huang, Chuan-Feng Chiu, Su-Li Chin, Li-Hua Hsin, & Yi-Pei Yu. (2010). A Sports E-learning Platform: Teaching and learning by using Multimedia contents. In 2010 3rd IEEE International Conference on Ubi- Media Computing (pp. 222–226). doi:10.1109/UMEDIA.2010.5544460 Crivella, R., Daly, B., Schaaf, R., Ventura, D., Camill, T., Hodgins, J., & Pausch, R. (2003). Training for physical tasks in virtual environments: Tai Chi. In IEEE Virtual Reality, 2003. Proceedings. (Vol. 2003, pp. 87–94). doi:10.1109/VR.2003.1191125 Davcev, D., Trajkovic, V., Kalajdziski, S., & Celakoski, S. (2003). Augmented reality environment for dance learning. In International Conference on Information Technology: Research and Education, 2003. (pp. 189–193). doi:10.1109/ITRE.2003.1270600 Dober, R. (2015a). Baseball - Softball. Retrieved October 12, 2015, from http://www.sportunterricht.de/baseball/pitcher.html Dober, R. (2015b). Fußball - Grundtechniken. Retrieved October 12, 2015, from http://www.sportunterricht.de/fussball/technik.html Dober, R. (2015c). Handstand-Abrollen. Retrieved October 12, 2015, from http://www.sportunterricht.de/turnen/bjspiele/handstand1.html Dober, R. (2015d). Skifahren. Retrieved from http://www.sportunterricht.de/ski/skilern.html Fitzgerald, D., Foody, J., Kelly, D., Ward, T., Markham, C., McDonald, J., & Caulfield, B. (2007). Development of a wearable motion capture suit and virtual reality biofeedback system for the instruction and analysis of sports rehabilitation exercises. In Engineering in Medicine and Biology Society, 2007. EMBS 2007. 29th Annual International Conference of the IEEE (pp. 4870–4874). doi:10.1109/IEMBS.2007.4353431 Fuchser, I. (2005). Grundlagen Weitsprung. Retrieved October 12, 2015, from http://www.blv-nachwuchs.ch/leiter/ku-lkluweit05.PDF Gerstweiler, G., & Vonach, E. (2011). Development of an Active Motion Capture Suit for Teaching Motion Skills. TU Wien. Hachimura, K., Kato, H., & Tamura, H. (2004). A prototype dance training support system with motion capture and mixed reality technologies. RO- MAN 2004. 13th IEEE International Workshop on Robot and Human 2015 73 Appendix Interactive Communication (IEEE Catalog No.04TH8759), 217–222. doi:10.1109/ROMAN.2004.1374759 Hachimura, K., Takashina, K., & Yoshimura, M. (2005). Analysis and evaluation of dancing movement based on LMA. Proceedings - IEEE International Workshop on Robot and Human Interactive Communication, 2005, 294– 299. doi:10.1109/ROMAN.2005.1513794 Keus, S., Hendriks, H., Bloem, B., Bredero-Cohen, a, de Goede, C., van Haaren, M., … Munneke, M. (2004). KNGF Guidelines for physical therapy in patients with Parkinson’s Diseae. Dutch Journal of Physiotherapy, 114(3), 1–88. Retrieved from http://www.appde.eu/pdfs/Dutch Parkinson’s Physiotherapy Guidelines.pdf Kirk, A. G., O’Brien, J. F., & Forsyth, D. a. (2005). Skeletal Parameter Estimation from Optical Motion Capture Data. Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference On., 2, 782–788 Vol. 2. doi:10.1109/CVPR.2005.326 Komura, T., Lam, B., Lau, R. W. H., & Leung, H. (2006). e-learning martial arts. In Advances in Web Based Learning - ICWL 2006 (Vol. 4181, pp. 239– 248). doi:10.1007/11925293_22 Li, K. F., Takano, K., & Johnson, M. G. (2011). Motion tracking and processing for multimedia sport E-learning. In Proceedings - 2011 International Conference on Broadband and Wireless Computing, Communication and Applications, BWCCA 2011 (pp. 75–82). doi:10.1109/BWCCA.2011.16 McNeil, B. J. (1991). A meta-analysis of interactive video instruction: A 10 year review of achievement effects (DISS). Retrieved from http://hdl.handle.net/10755/169829 Meinel, K., & Schnabel, G. (1998). Bewegungslehre. Sportmotorik. Nawahdah, M., & Inoue, T. (2012). Motion Adaptive Orientation Adjustment of a Virtual Teacher to Support Physical Task Learning. Journal of Information Processing, 20(1), 277–286. doi:10.2197/ipsjjip.20.277 Noiumkar, S., & Tirakoat, S. (2013). Use of Optical Motion Capture in Sports Science: A Case Study of Golf Swing. In 2013 International Conference on Informatics and Creative Multimedia (pp. 310–313). doi:10.1109/ICICM.2013.58 Pacheco, N. (2015). Salsa Grundschritte. Retrieved October 12, 2015, from https://www.latinsalsa.de/tanzstile/tanzschritte/salsa/grundschritt 74 2015 Appendix Pintaric, T., & Kaufmann, H. (2007). Affordable Infrared-Optical Pose Tracking for Virtual and Augmented Reality. In IEEE VR Workshop on Trends and Issues in Tracking for Virtual Environments (pp. 44–51). Retrieved from http://publik.tuwien.ac.at/files/pub-inf_5236.pdf Posner, P., & Fitts, M. (1979). Human Performance (Vol. 7508). Greenwood Pub Group Inc; Auflage: Revised. Pottle, B. (2013). Taekwondo: A Practical Guide to the World’s Most Popular Martial Art. Sapphire Eye Press. Retrieved from http://download.audible.com/product_related_docs/BK_ACX0_012504.pdf Qian, G., Guo, F., Ingalls, T., Olson, L., James, J., & Rikakis, T. (2004). A gesture-driven multimodal interactive dance system. 2004 IEEE International Conference on Multimedia and Expo (ICME) (IEEE Cat. No.04TH8763), 1579–1582. doi:10.1109/ICME.2004.1394550 Rose, F. D., Attree, E. a, & Brooks, B. M. (1997). Virtual environments in neuropsychological assessment and rehabilitation. Studies in Health Technology and Informatics, 44, 147–55. Retrieved from http://www.ncbi.nlm.nih.gov/pubmed/10175337 Salmoni, a W., Schmidt, R. a, & Walter, C. B. (1984). Knowledge of results and motor learning: a review and critical reappraisal. Psychological Bulletin, 95(3), 355–386. doi:10.1037/0033-2909.95.3.355 Schönauer, C. (2007). Skeletal Structure Generation for Optical Motion Capture. Institute for Software Technology and Interactive Systems. Retrieved from http://www.ims.tuwien.ac.at/publication_detail.php?ims_id=233 Schönauer, C. (2015). Full body interaction in serious games for rehabilitation. Schwartz, D. L., & Hartman, K. (2007). It is not television anymore: Designing digital video for learning and assessment. Video Research in the Learning Sciences, 335–348. Sewall, L. P., Reeve, T. G., & Day, R. A. (1988). Effect of concurrent visual feedback on acquisition of a weightlifting skill. Perceptual and Motor Skills, 67(3), 715–718. doi:10.2466/pms.1988.67.3.715 Singer, R. N. (1988). Strategies and metastrategies in learning and performing self-paced athletic skills. Sport Psychologist, 2, 49–68. Woichiechowsky, C. (2015). Leitfaden postoperative Physiotherapie und Rehabilitation. Retrieved October 12, 2015, from 2015 75 Appendix http://www.kreuzschmerzen.org/fileadmin/redaktion/pdf/Patientenleitfaden. pdf Wulf, G. (2009). Aufmerksamkeit und motorisches Lernen. Urban & Fischer Verlag/Elsevier GmbH. Yang, U., & Kim, G. J. (2002). Implementation and Evaluation of “Just Follow Me”: An Immersive, VR-Based, Motion-Training System. Presence: Teleoperators and Virtual Environments, 11(3), 304–323. doi:10.1162/105474602317473240 76 2015 Appendix C. Abbildungsverzeichnis Abbildung 1: (a) iotracker Systemaufbau (Pintaric & Kaufmann, 2007); (b) Rigid-Body-Target bestehend aus vier retroreflektierenden Markern (Pintaric & Kaufmann, 2007) .............................................................. 21 Abbildung 2: (a) Aktiver Motion-Suit; (b) Motion Suit Manager zur Steuerung der aktiven Marker ................................................................................... 23 Abbildung 3: Lernanimation für das Handstand-Abrollen (Dober, 2015c) ........ 26 Abbildung 4: Lernanimation für den Schwung des Baseballschlägers (Dober, 2015a)................................................................................................ 28 Abbildung 5: Freies Experimentieren mit dem Avatar ...................................... 37 Abbildung 6: (a) Wandspiegel in Trainingsraum; (b) Spiegelmetapher in MoCapGym ........................................................................................ 39 Abbildung 7: Geleitete Übung mit Farbdarstellung der Abweichungen ............ 40 Abbildung 8: Architektur der entwickelten Applikation MoCapGym .................. 43 Abbildung 9: Struktur der zentralen Klassen in MoCapGym; ........................... 44 Abbildung 10: Skeleton.xml – Definition aller Körperteile ................................. 45 Abbildung 11: Skeleton-Pose.xml – Trackingdaten .......................................... 45 Abbildung 12: Trackingdaten eines Gelenks .................................................... 47 Abbildung 13: T-Pose ....................................................................................... 48 Abbildung 14: (a) Hierarchie des Skeletts; (b) Avatar-Modell aus primitiven geometrischen Formen (c) Visualisierung in MoCapGym .................. 49 Abbildung 15: Meshman-Avatar (a) Mesh mit Unterteilungen (b) Skelettstruktur (c) Meshman in MoCapGym .............................................................. 50 Abbildung 16: Comparison-Matching- und Color-Feedback-Methoden in MoCapGym ........................................................................................ 53 2015 77 Appendix Abbildung 17: Für permanente Einstellungen steht ein „config.xml“ zur Verfügung ........................................................................................... 54 Abbildung 18: (a) User Interface für Kalibrierung; (b) Feedbackdialog während der Übung .......................................................................................... 55 Abbildung 19: Farbdarstellung der Abweichungen deckend mit dem Schüler- Avatar ................................................................................................. 61 Abbildung 20: Benutzer mit angelegtem Motion-Suit in der Eingewöhnungsphase ........................................................................ 63 Abbildung 21: Veränderte Perspektive ............................................................. 64 Abbildung 22: Durch seitliche Drehung des Benutzers stimmen diverse Körperteile nicht ................................................................................. 65 78 2015