Visual Information Retrieval : automatisierte Klassifikation von Snowboardclips

Abstract

Bei der Analyse von Videoaufnahmen im Rahmen eines Snowboard-Lehrbetriebs stellt sich immer wieder das Problem, dass zur Diskussion passende Stellen am Videoband gesucht werden müssen. Einmal sucht man ähnliche Abfahrtsszenen (im Bezug auf Schwungart und Fehler) einer zweiten Person, kurz darauf sucht man weitere Abfahrten der gleichen Person.<br />Die vorliegende Arbeit entwickelt eine entsprechende inhaltsbasierte Klassifikation von Snowboard-Videoclips und konzentriert sich dabei auf die beiden Merkmale Schwungart und Personenerkennung.<br />Im Lehrplan des Snowboardunterrichts sind Grundschwungarten definiert, die unterschiedliche Schwierigkeitsgrade beinhalten und aufbauend geschult werden. Da dabei Rhythmus und Geschwindigkeit die zwei Hauptunterscheidungsmerkmale sind, untersucht diese Arbeit die Möglichkeit, die beiden Merkmale mittels Methoden der Bewegungserkennung zu messen und mit Störfaktoren wie Verwackelungen umzugehen. Dabei bedient sich die vorgestellte Methode der Optical Flow Analyse, um den Rhythmus - also die mittlere Dauer zwischen zwei Schwüngen - zu berechnen und so eine Klas- sifizierung zu ermöglichen. Die Zahl der Kursteilnehmer ist meistens recht hoch, trotzdem benötigt jeder Teilnehmer ein individuelles Feedback zu den aufgezeichneten Abfahrten.<br />Daher ist es für den Trainer sehr wichtig schnell andere Anschauungsbeispiele parat zu haben, die seine Argumente bildlich unterstützen. Die zweite vorgestellte Methode stellt - anhand einer farb-analysierenden Technik - die Möglichkeit zur Verfügung, Videoclips nach Personen zu klassifizieren und so eine individuelle Clipselektion zu ermöglichen.<br />Um die verwendeten Techniken und entwickelten Methoden zu evaluieren, wurden sie an einem Test-Set von Videoclips angewandt und deren Ergebnisse beurteilt. Das notwendige Filmmaterial wurde dabei an Trainingstagen im Schnee aufgenommen und später für die Aufgabe dieser Arbeit von Hand selektiert. Die Klassifikation nach Schwungarten liefert bei der Berechnung der mittleren Bildanzahl (=Dauer) zwischen zwei Richtungswechseln sehr gute Ergebnisse, wodurch 85% der Testclips korrekt klassifiziert werden (65% sogar sehr klar). Der Bildvergleich aufgrund farblicher Aspekte (Personen) ist allerdings sehr von der Szenerie und den Lichtverhältnissen abhängig was zu erheblichen Fehlern in der Klassifizierung führt (Fehlerrate steigt linear mit der Anzahl an analysierten Clips).<br />

Practical snowboard instructor training is an iterative process divided into two steps. In the first step, the future snowboard instructors are recorded on video performing on the slope. In the second step, these video recordings are analyzed and discussed with the focus on possible improvements of the future instructor's personal snowboarding style. The future instructors then try to apply the improvements in the next iteration of the first step.<br />This thesis presents a way of adequately supporting the second step by content-based classification and retrieval of snowboard videoclips.<br />The theory of snowboarding defines several turn types with different difficul- ties that are practiced step-by-step. Because rhythm and speed are the two main characteristics of different turn types, this thesis explores the feasibility to measure them via motion-detection and investigates how to deal with di- sturbing factors like camera shaking.<br />The proposed method uses the output of optical flow analysis to compute the duration between two turns and the speed of the turn to classify the types of turns.<br />The audience in theoretical snowboard lessons is ususally bigger than one person, but everyone needs individual feedback during analysis. As a result it is very important for trainers to be able to quickly present appropriate video samples - either from the same or from another person.<br />This personalized feedback motivates the second presented method in this thesis. This method employs an established color analysis technique to distinguish which person is shown in the videoclips. The method enables trainers to select individual videoclips for presentation.<br />In order to evaluate the acquired techniques and developed methods, they are applied on a manually generated test-set of videoclips which were recor- ded during several days of training by this thesis' author. Turn type classification yields good results in computing the average number of frames between two shifts in direction (wide driven carving turns versus fast moving short turns) so 85% percent of videoclips are classified correctly (65% even clearly).<br />The distinction of videoclips based on depicted persons is highly dependent on scenery and illumination, which disturbs classification results because color-matching fails (classification error-rate rises linearly with the number of analyzed videoclips).