Analyzing the learning curve : the influence of multimodality and gamification feedback on motor skill acquisition

Abstract

Das motorische Lernen umfasst das Erwerben von Fähigkeiten, die eine freiwillige Kontrolle von Gelenk- und Körpersegmentbewegungen erfordern, um spezifische Ziele zu erreichen [Mag07]. Dieser Prozess ist von Natur aus komplex und zeitaufwendig und erfordert konsequentes Üben. Motorische Fähigkeiten umfassen eine Vielzahl von Aufgaben, von Musikinstrumenten bis hin zu sportlichen Aktivitäten, wodurch ihre Aneignung ein wesentlicher Bestandteil des täglichen Lebens ist. Die Entwicklung von Systemen, die diesen Prozess beschleunigen können, wäre für Lernende von großem Nutzen.Diese Masterarbeit untersucht den Einfluss verschiedener Feedbackarten auf das motorische Lernen, mit einem Schwerpunkt auf Handgesten-Choreographien (Hand Mudra), die sowohl als Yoga-Praxis als auch als Tanzchoreographie angesehen werden. Die Studie vergleicht visuelles Feedback (Videos und/oder Bilder), auditives Feedback (Musik und Audioanweisungen), multimodales Feedback sowie gamifiziertes Feedback, um deren Effektivität zu analysieren. Die Forschung widmet sich vier zentralen Fragen: 1. Wel- che Art von Feedback (auditiv, visuell oder gamifiziert) hat den positivsten Einfluss auf die Aneignung motorischer Fähigkeiten? 2. Wie unterscheiden sich Lernkurven bei motorischen Gedächtnisaufgaben mit und ohne Gamifizierung? 3. In welchen Lernphasen sollte Gamifizierung ein- oder ausgeschlossen werden, um die Fähigkeitsaneignung zu optimieren? 4. Wie unterscheiden sich wahrgenommene Freude und Anstrengung zwischen den verschiedenen Lernmodi, und wie hängen diese mit den Lernkurven zusammen?Für diese Studie wurde eine maßgeschneiderte Anwendung entwickelt, die drei Lernmodi bietet: visuell, auditiv und gamifiziert. Quantitative Daten wurden mithilfe standardi- sierter Fragebögen (NASA-TLX und IMI) und Tests, die während des Lernprozesses durchgeführt wurden, erhoben. Qualitative Daten wurden durch Interviews mit den Teilnehmern:innen gesammelt.Die Ergebnisse zeigen, dass gamifizierte Lernmodi die schlechtesten Leistungen und den höchsten Anstrengungsgrad verursachten, während multimodales Feedback, das visuelle und auditive Elemente kombiniert, die besten Ergebnisse sowohl hinsichtlich Leistung als auch Freude erzielte. Der Hauptbeitrag dieser Forschung ist ein Softwaresystem, das für effektives motorisches Lernen, insbesondere in den frühen Phasen der Fähigkeitsaneignung, entwickelt wurde, sowie Richtlinien für die Gestaltung solcher Systeme. Systeme sollten Flexibilität bieten, sodass Lernende verschiedene Modi kombinieren, Videos bearbeiten, Notizen machen und Aufgaben segmentieren können. Gamifizierung sollte schrittweise eingeführt werden, mit dem Fokus auf positivem Feedback, um Selbstvertrauen und Motivation zu stärken. Gamifizierte Lernmodi sind am besten in späteren Phasen geeignet, um die Beherrschung der Fähigkeiten und die Leistungssicherheit zu unterstützen.

Motor learning involves acquiring skills that require voluntary control of joint and body segment movements to achieve specific goals [Mag07]. This process is inherently complex and time-consuming, requiring consistent practice. Motor skills encompass diverse tasks, from playing an instrument to engaging in sports, making their acquisition an integral part of everyday life. Developing systems to expedite this process could significantly benefit learners.This master’s thesis investigates the impact of different feedback types on motor skill learning, with a focus on hand gesture choreography (Hand Mudra), which is regarded as both a yoga practice and a dance choreography. The study compares visual feedback (video and/or images), auditory feedback (music and audio instructions), multimodal feedback, and gamified feedback to analyze their effectiveness. The research addresses four key questions: 1. Which type of feedback (audio, visual, or gamified) most positively impacts motor skill acquisition? 2. How do learning curves vary in motor memory tasks with and without gamification? 3. At which stages of learning should gamification be included or excluded to optimize skill acquisition? 4. How do perceived enjoyment and effort differ across learning modes, and how do they relate to learning curves?For this study, a custom application was developed, offering three learning modes: visual, auditory, and gamified. Quantitative data were collected through standardized questionnaires (NASA-TLX and IMI) and tests administered during the learning process. Qualitative data were gathered through participant interviews.Results indicate that gamified learning modes resulted in the lowest performance and highest levels of effort, while multimodal feedback combining visual and auditory elements produced the best outcomes, both in terms of performance and enjoyment levels. The main contribution of this research is a software system designed for effective motor skill learning, particularly in the early stages of skill acquisition, as well as guidelines for designing such systems. Systems should offer flexibility, enabling learners to combine different modes as they learn, manipulate videos, take notes, and segment tasks. Gami- fication should be introduced slowly, focusing on providing positive feedback to boost confidence and motivation. Gamified modes of learning are best employed in later stages to support skill mastery and performance confidence.