Machine learning with dual process models

Abstract

Ähnlichkeitsmessung ist ein wichtiger Bestandteil der meisten Maschinenlern-Algorithmen. Traditionelle Ansätze richten ihr Hauptaugenmerk entweder auf taxonomisches oder thematisches Denken. Psychologische Forschung deutet aber darauf hin, dass eine Kombination beider Ansätze nötig ist, um eine menschenähnliche Ähnlichkeitsmessung zu erreichen. Diese Kombination nennt man Similarity Dual Process Model (DPM). Diese Arbeit beschreibt, wie ein DPM als lineare Kombination von Distanz- und Ähnlichkeitsmaßen erzeugt werden kann. Wir nutzen Generalisierungsfunktionen, um Distanz in Ähnlichkeit umzuwandeln. DPMs sind Kernelfunktionen ähnlich. Deshalb können sie in jeden Maschinenlern-Algorithmus, der Kernelfunktionen nutzt, integriert werden. Um die Verwendung von DPMs zu fördern, stellen wir Implementierungen von Kernelfunktionen zur Verfügung. Natürlich funktionieren nicht alle DPMs, die wir formulieren können, gleich gut. Deshalb testen wir die Leistung mit einer praktischen Anwendung: der Erkennung von Fußgängern in Bildern. Wir nehmen an, dass DPMs nur sinnvoll sind, sofern ihre Leistung als Ganzes besser ist als die ihrer Teile. In den Experimenten haben wir DPM-Kernel gefunden, die für die Testdaten eine mit konventionellen Kerneln vergleichbare Leistung erbracht haben. Wir stellen daher einen Baukasten zum Formulieren solcher Kernel bereit, um weitere Experimente in anderen Anwendungsbereichen des Maschinenlernens zu unterstützen.

Similarity measurement processes are a core part of most machine learning algorithms. Traditional approaches focus on either taxonomic or thematic thinking. Psychological research suggests that a combination of both is needed to model human-like similarity perception adequately. Such a combination is called a Similarity Dual Process Model (DPM). This thesis describes how to construct DPMs as a linear combination of existing measures of similarity and distance. We use generalization functions to convert distance into similarity. DPMs are similar to kernel functions. Thus, they can be integrated into any machine learning algorithm that uses kernel functions. To foster the use of DPMs, we provide kernel function implementations. Clearly, not all DPMs that can be formulated work equally well. Therefore, we test classification performance in a real-world task: the detection of pedestrians in images. We assume that DPMs are only viable if they are better classifiers than their constituting parts. In our experiments, we found DPM kernels that matched the performance of conventional kernels for our data set. Eventually, we provide a construction kit to build such kernels to encourage further experiments in other application domains of machine learning.