Design, development and evaluation of a serious game to train decision-making skills of martial arts referee

Abstract

Während Schiedsrichter ein breites Spektrum hinsichtlich Wahrnehmung, Fitness und Interaktion mit Athleten abdecken, liegt ihr Fokus im Treffen von Entscheidungen, um die Regeln der Sportart durchzusetzen. Da Kampfsport-Athleten dicht aufeinanderfolgende Techniken ausführen können, müssen Kampfsport-Schiedsrichter in der Lage sein die visuelle Wahrnehmung mit den Regeln der Sportart zu kombinieren, um eine schnelle Entscheidung abzuleiten. Um die für das Erreichen von Expertenniveau notwendige Trainingsintensität anzusammeln, schlagen neue Forschungsergebnisse den Einsatz videobasierter Trainingsprogramme vor. Die Integration von Spielelementen in ein solches Programm kann den Lernprozess in ein intrinsisch motiviertes Erlebnis verwandeln. Diese Arbeit umfasst den Entwurf, die Entwicklung, und die Evaluierung eines videobasierten Serious Games, um Entscheidungsprozesse von Kampfsportschiedsrichtern mittels direkten Feedbacks zu trainieren. Der Prototyp JudgED wurde nach Prinzipien des Multiple-Cue Probability Learning und Hogarth's Ansatz zum Lernen von Intuitionen entwickelt. Das Programm basiert auf Erkenntnissen der Forschung zu videobasierten Entscheidungsprogrammen und Inputs von Experten in Kickboxen und Karate Kumite. JudgED besteht aus zwei Modulen: (a) einem Trainingsmodul, um die Entscheidungen von Kampfsport-Schiedsrichtern durch einen videobasierten Ansatz mit sofortigem Feedback zu trainieren und (b) einem Inhalts- und Administrationsmodul zum Definieren und Organisieren der Videoszenen, sowie zur Leistungsanalyse der Spieler des Serious Games. JudgED wurde im Zuge eines Feldexperiments evaluiert, bei welchem die Leistung von 16 professionellen Kickbox-Schiedsrichtern analysiert wurde. Das Experiment bestand aus zwei in JudgED durchgeführten videobasierten Tests und einem allgemeinen Reaktionszeittest. Die Leistungsdaten wurden durch ein klar definiertes Verfahren berechnet, welches die Eingaben der Teilnehmer mit von Experten definierten Entscheidungen vergleicht. Die Ergebnisse zeigen eine Entscheidungsgenauigkeit von 43,011 % und eine Reaktionszeit von 1,022 s. Es wurde kein Zusammenhang zwischen der Reaktionszeit in JudgeED und dem Reaktionszeittests gefunden. Ebenso wurde keine Korrelation zwischen der Erfahrung von Schiedsrichtern und deren Leistung in JudgED festgestellt. Die Ergebnisse einer Umfrage zeigen den potenziellen Nutzen von JudgED zum Training von Kampfsport-Schiedsrichtern und zur Aufwertung der Schiedsrichterausbildung.

While referees must cover a wide range of demands related to perception, physical fitness and interaction with athletes, the distinctive responsibility associated with referees lies in decision-making to enforce the rules of the sport. As athletes can perform multiple rapid techniques in a short period, martial arts referees focus on deriving decisions by combining their perception of the athletes' movement with the rules of the sport. To achieve the training intensity required to reach expert level in decision-making, recent research suggests the complementary use of video-based training programs. The integration of game elements into video-based training programs has the potential to turn learning into a joyful and intrinsically motivated experience. This research encompasses the design, development, and evaluation of a novel video-based serious game to train the decision-making processes of martial arts referees through immediate feedback. The prototype JudgED, was designed according to the principles of multiple-cue probability learning and Hogarth's approach to learning intuitions. It was developed based on state-of-the-art research on video-based decision-making programs in other sports and requirements gathered from experts in kickboxing and karate Kumite. JudgED consists of two modules: (a) a training module to train decision-making skills of martial arts referees through a video-based approach utilising immediate feedback and (b) a content and administration module allowing authorised referees to define video scenes used in the serious game, organise training sessions, and analyse the players' performance. JudgED was evaluated in the form of a field experiment that analysed the performance of 16 professional kickboxing referees in the serious game. The field experiment consisted of two video-based tests in the serious game and a general reaction time test. The performance data in JudgED was determined by a well-defined procedure that compares the players' inputs in the serious game with expert-defined decisions. The findings showed an average decision accuracy of 43.011 % and an average reaction time of 1.022 s. No significant linear relationship was found between referees' reaction time in JudgeED and their performance in the reaction time tests. Likewise, the data show no significant correlation between the referees' experience and their performance in JudgED. The results of a survey indicate the usefulness of JudgED for training the decision-making skills of martial arts referees and its potential to enhance referee training.