Automated classification of paintings

Abstract

Diese Arbeit behandelt die automatische Klassifikation von Gemälden der Stilrichtungen Kubismus, Expressionismus, Impressionismus, Pointillismus und Renaissance Malerei anhand einer prototypischen Proof of Concept - Anwendung. Ein Featureset wurde entwickelt, welches eines Vielzahl unterschiedlicher Ansätze zur Feature-Extraktion umfasst, wie beispielsweise kanten-basierte-, frequenz-basierte- und farb-basierte Features. Einige Ansätze wurde von anderen Forschungsprojekten übernommen, wo diese zur Lösung ähnlicher Probleme eingesetzt wurden.<br />Für einen Menschen ist die Bestimmung der Stilrichtung eines Gemäldes ein in hohem Maße emotionaler und intuitiver Prozess. Dies macht die Operationalisierung dieses Prozesses schwierig und beinhaltet ein gewisses Maßan Unsicherheit. Und tatsächlich hat sich herausgestellt, dass sich einige Feature entgegen jeder Intuition und Erwartungshaltung verhalten. Es ist jedoch gerade diese Unvorhersehbarkeit, welche das zugrundeliegende Klassifikationsproblem so interessant macht. Um für jedes Feature die jeweils besten Parameterwerte zu finden, wurden die Features auf einer Trainingsmenge von 1000 Bildern optimiert. Um über dies zu untersuchen, wie weit sich das Featureset reduzieren lässt wurde eine Hauptkomponenten-Analyse durchgeführt. Im Anschluss an die Feature-Optimierung wurden die Klassifikations-Algorithmen C4.5 - Decision Tree, Random Forest, Naive Bayes, Multilayer Perceptron und K-Nearest Neighbor auf das Featureset angewandt. Wie schon zuvor bei der Feature-Optimierung wurden diese Algorithmen mit einer Vielzahl unterschiedlicher Parameterwerte getestet, wobei das Ergebnis einer stratifizierten 10 x 10 - Kreuzvalidierung zur Evaluierung der Classifier verwendet wurde. Jener Classifier, der bei diesem Kreuzvalidierungstest das beste Ergebnis lieferte, wurde zur Klassifizierung einer Testmenge von 200 Bildern herangezogen. Auf diese Art konnte gezeigt werden, dass sich das Klassifikationsproblem in dieser Domäne lösen lässt. Weiters konnte gezeigt werden, dass sich das verwendete Featureset mittels einer Hauptkomponenten-Analyse auf nicht weiter als 23% der Originalgrläße reduzieren lässt, ohne eine signifikante Verminderung des Klassifikationsergebnisses in Kauf nehmen zu müssen. Schließlich konnte auch gezeigt werden, dass eine Untersuchung des verwandten Retrieval-Problems einen interessanten Anknüpfungspunkt an die Inhalte der Arbeit darstellt.<br />

This thesis deals with the automated classification of paintings against the painting styles cubism, expressionism, impressionism, pointillism and renaissance painting by the means of a prototypical proof of concept system. A feature set has been developed which covers a wide range of feature extraction approaches such as edge-based, frequency-based or color-based features. Some approaches have been adopted from other research project where they have been applied on related problems. The classification of a painting for a human is a highly emotional and intuitive process. As a consequence it is difficult to operationalize and it contains a certain amount of unpredictability.<br />And indeed, it has turned out that some of the developed features behave as intended whereas others behave against intuition and expectation. It is, however, just this unpredictability which makes the underlying classification problem interesting. In order to find the best parameter tuple for each feature they have been optimized on a training set of 1000 images. In order to investigate how far the optimized feature set is reducible a principle component analysis has been applied on it.<br />Succeeding the feature optimization stage the classification algorithms C4.5 - decision tree, random forest, naive bayes, multilayer perceptron and k-nearest neighbor have been applied on the feature set. As it has been done in the feature optimization stage, a wide range of parameter tuples have been tested for each classification algorithm whereas a stratified 10 x 10 cross validation on the training set has been used as the measurement for the classification performance. The classifier which has shown the best results in the cross validation test has been used to classify an independent test set of 200 images. By this means it could be shown that the classification task can be solved in this particular domain. Further, it could be shown that a principle component analysis allows a reduction of the feature space to no more than 24% of the original size while still gaining approximately the same classification performance. Finally, it could be shown that the related retrieval problem is also worth investigating.