One-class domain adaptation via meta-learning

Abstract

In recent years, the integration of IoT (Internet of Things) sensor platforms into industrial plants has opened up new opportunities for applying machine learning models to various tasks, such as anomaly classification. However, the deployment of these models in such systems poses significant challenges due to distribution shifts, as the training data acquired in controlled laboratory settings may significantly differ from real-time data in production environments. Furthermore, many real-world applications cannot provide a substantial number of labeled examples for each anomalous class in every new environment. It is therefore crucial to develop adaptable machine learning models that can be effectively transferred from one environment to another, enabling rapid adaptation using normal data. I extended this problem setting to an arbitrary multi-class classification task and formulated the one-class domain adaptation (OC-DA) problem setting. To the best of my knowledge, my work is the first to address one-class adaptation across domains. I took a meta-learning approach to tackle the challenge of OC-DA, and proposed a task sampling strategy to adapt any bi-level meta-learning algorithm to OC-DA. I modified the well-established model-agnostic meta-learning (MAML) algorithm and introduced the OC-DA MAML algorithm. I provided a theoretical analysis showing that OC-DA MAML optimizes for meta-parameters that enable rapid one-class adaptation across domains. I empirically evaluated OC-DA MAML on the Rainbow-MNIST meta-learning benchmark and on a real-world dataset of vibration-based sensor readings. The results show that OC-DA MAML significantly outperforms MAML using the standard task sampling strategy.

Die Integration von IoT (Internet of Things) Sensorplattformen in industrielle Anlagen eröffnet neue Möglichkeiten für den Einsatz von Modellen des maschinellen Lernens, insbesondere in der Anomalie-Klassifizierung. Der erfolgreiche Einsatz dieser Modelle in solchen Systemen ist jedoch mit erheblichen Herausforderungen verbunden. Insbesondere weichen die in kontrollierten Laborumgebungen gesammelten Trainingsdaten häufig erheblich von den Echtzeitdaten in Produktionsumgebungen ab. Zudem ist es oft nicht möglich, für jede Anomalie-Klasse in neuen Umgebungen eine ausreichende Menge an Daten zu beschaffen. Daher ist es von entscheidender Bedeutung, anpassungsfähige Modelle zu entwickeln, die sich effektiv von einer Umgebung in eine andere übertragen lassen und eine schnelle Anpassung unter Verwendung normaler Daten ermöglichen. Diese Arbeit erweitert diese Problemstellung auf allgemeine Klassifikationsaufgaben und formuliert die Fragestellung der "One-Class Domain Adaptation'' (OC-DA). Nach meinem Kenntnisstand handelt es sich bei dieser Arbeit um die erste, die sich mit OC-DA befasst. Im Rahmen dieser Arbeit wird eine Task-Sampling-Strategie vorgeschlagen, die es ermöglicht, jeden zweistufigen Meta-Learning-Algorithmus an die Anforderungen von OC-DA anzupassen. Konkret wird der "Model-Agnostic Meta-Learning'' (MAML) Algorithmus modifiziert und der OC-DA MAML Algorithmus entwickelt. Eine theoretische Analyse zeigt, dass OC-DA MAML Meta-Parameter findet, die es dem Modell ermöglichen, sich mit nur wenigen Trainingsdaten einer einzigen Klasse an eine neue Umgebung anzupassen. Der OC-DA MAML wird empirisch anhand des Rainbow-MNIST Meta-Learning-Benchmarks und eines realen Datensatzes aus vibrationsbasierten Sensormesswerten evaluiert. Die Ergebnisse zeigen, dass OC-DA MAML signifikant bessere Leistungen erbringt als MAML mit der herkömmlichen Task-Sampling-Strategie.