Evaluating methods for generalized ranking of performance variables : prototyping and individual performance evaluating tool

Abstract

Diese Arbeit befasst sich mit Einschränkungen bei der Automatisierung der Reihung von sportlichen Leistungen. Verschiedene Bewertungsmethoden, die in der Lage sind, mehrere Leistungsindikatoren zu vereinen, wurden evaluiert, wobei der Fokus auf Reproduzierbarkeit, Stabilität und Qualität der eerstellten Ranglisten lag. Unter den betrachteten Ansätzen waren sowohl rein statistische Methoden als auch solche, die Domänenwissen integrieren. Die bestgeeignete Methode wurde im Anschluss verwendet um ein System zu entwickeln, das die Automatisierung der Bewertung und Reihung von verschiedensten sportlichen Leistungen ermöglicht. Zusätzlich wird - um einen Vergleich über verschiedene normative Profile hinweg zu ermöglichen - basierend auf den vorhandenen Daten automatisch das optimale normative Profil ermittelt.Ein Prototyp wurde entwickelt um die zuvor genannten Methoden und Funktionen zugänglich zu machen. Die Leistung der ausgewählten Methoden wurde anhand von zwei Datensätzen bewertet: einem großen Datensatz, der Länder nach Lebensqualität reiht, und einem kleineren, hochdimensionalen Datensatz, der basierend auf latenten Variablen erstellt wurde. Die Ergebnisse zeigen eine ähnliche Qualität der Methoden bei großen Datensätzen, bei kleineren Datensätzen zeichnet sich jedoch die Methode der linearen Kombinationen, welche Domänenwissen berücksichtigt, durch eine hohe Reproduzierbarkeit aus. Zukünftige Verbesserungen könnten die Kombination von Indikatorgewichtung mit linearen Kombinationen beinhalten um die Bewertungsmethoden weiter zu optimieren.

This work addresses the limitations in generalizations of scoring methods for sports performances. Various scoring methods capable of handling multiple performance indicators were evaluated, focusing on reproducibility, stability and ranking quality. Among the approaches included were purely statistical methods as well as those incorporating domain knowledge. The best-performing method was used to develop a system that enables automatic scoring and ranking of performances with multiple performance indicators. Furthermore, it enables comparison across different normative profiles. With the aim of ensuring optimal context, even from large datasets, normative profiles are selected dynamically.A prototype was built to make the aforementioned methods and functionality accessible. The performance of the selected methods were evaluated on two datasets: a large dataset ranking countries by quality of living, and a smaller, high-dimensional dataset derived from latent variables. Results showed similar methods performance on large datasets, but on smaller datasets, linear combinations incorporating domain knowledge excelled in reproducibility. Future improvements could combine indicator weighting with linear combinations for enhanced scoring methods.