Design, Prototyping and Evaluation of a System for 3D Motion Analysis in Combat Sports Using Multiple 2D Camera Perspectives

Abstract

Regeln sind ein zentraler Bestandteil kompetitiver Sportarten, deren Einhaltung üblicherweise durch menschliche Schiedsrichter sichergestellt wird. Aufgrund von unbeabsichtigten Fehlentscheidungen oder sogar Korruption können allerdings subjektive Beurteilungen entstehen. Im Falle von Kampfsportarten bedeutet dies verfälschte Ergebnisse und eine unfaire Behandlung der beteiligten Athleten. Aus diesem Grund untersucht diese Arbeit, wie die 3D-Körperhaltungserkennung zur Unterstützung von Schiedsrichtern in Kampfsportarten genutzt werden kann. Hierzu werden ein neuartiges System zur Visualisierung, Identifikation und kontinuierlichen Verfolgung von Athleten während eines Kampfsportevents konzipiert, implementiert und evaluiert. Konkret werden mehrere 2D-Kameraperspektiven genutzt, um die Genauigkeit der 3D-Darstellungen, den Grad von 2D- und 3D-Okklusion sowie die Qualität der Kontakterkennung zwischen den Athleten zu untersuchen. Zuerst werden die spezifischen Anforderungen an das System mithilfe semi-strukturierter Experteninterviews definiert. Danach wird anhand eines iterativen Entwicklungsprozesses ein entsprechender Prototyp dieses Systems angefertigt. Abschließend wird der Prototyp mittels deskriptiver Statistik evaluiert. Die Ergebnisse der Evaluierung des Systems sind zweierlei. Einerseits können Verbesserungen bei der Okklusionsrate von Athleten durch die Verwendung der 3D-Darstellung anstelle der 2D-Darstellungen beobachtet werden. Andererseits zeigt sich, dass die generelle Genauigkeit bei der Berechnung der 3D-Positionen und Kontakterkennung gering ist. Die Gründe hierfür liegen hauptsächlich bei der Qualität und der computationalen Laufzeit der verwendeten Technologien für die Verarbeitung der 2D-Inputdaten. Insgesamt zeigt diese Arbeit und der daraus resultierende Prototyp, dass die Verwendung von 3D-Körperhaltungserkennung Potenzial hat, um für Schiedsrichter und andere Aufsichtsorgane von Kampfsportarten einen sinnvollen Mehrwert zu bieten. Gleichzeitig wird deutlich, dass noch verschiedene offene Fragen geklärt werden müssen, um eine deutliche Verbesserung der Genauigkeit und Informationsqualität zu erreichen.

Rule adherence is an essential aspect of competitive sports, usually maintained by human referees. Due to human misjudgments and even corruption, the supervision by humans alone is prone to subjectivity. In the case of combat sports, this results in invalid scores and potentially unfair treatment of the athletes involved. As a result, this thesis aims to demonstrate how 3D human pose estimation can be utilized to assist supervising authorities in the evaluation of combat sports. This is done by designing, developing and evaluating a novel system, whose purpose is to visualize, identify and track athletes during a combat sport event based on multiple 2D camera perspectives, to investigate the accuracy of 3D pose reconstruction, the levels of 2D and 3D occlusion, and the quality of contact detection. First, the requirements for the system of this thesis are derived from semi-structured expert interviews. Second, a corresponding prototype is developed in an iterative manner. Finally, the system is evaluated using descriptive statistics. The results are mixed. On the one hand, it shows that metrics of occlusion in 3D pose recoveries improve compared to occlusion in the individual 2D perspectives. On the other hand, the evaluation reports poor values regarding the overall accuracy of 3D pose recoveries and the quality of contact detections. The underlying issues lie both in the accuracy and runtime performance of the approach chosen for processing the 2D input data. Overall, this thesis and its prototype demonstrate that utilizing 3D human pose estimation indeed has the potential to provide meaningful insights for supervising authorities in combat sports, with several open tasks available to further improve accuracy and information quality.