Interactive sampling for class discovery in unstructured data

Abstract

Die Analyse unstrukturierter Daten wie Bilder stellt aufgrund der hohen Dimensionalität eine erhebliche Herausforderung für die explorative Datenanalyse dar, da die Daten zunächst in Embeddings überführt werden müssen und in niedriger Dimensionalität dann näher beieinander liegen. Sampling ist unverzichtbar, um diese Datensätze in Visualisierungen für Menschen verständlicher zu machen. Die Motivation dieser Arbeit besteht darin, wie interaktive Systeme auch bei großen und unbalancierten Bilddatensätzen repräsentative und interpretierbare Stichproben in kurzer Zeit bereitstellen können. Standardmethoden wie Random Sampling können dabei an ihre Grenzen stoßen und erfassen seltene Klassen häufig nicht, was zu Verzerrungen in der Interpretation führt. Innerhalb eines standardisierten Interaktionsprotokolls werden verschiedene datengetriebene Strategien (z. B. Farthest Sampling und Dα Sampling) und modellbasierte Strategien (z. B. Min-Margin und Disagreement) mit Random Sampling verglichen. Ziel ist es, zu untersuchen, welche Strategien innerhalb eines festgelegten Interaktionsbudgets das beste Gleichgewicht zwischen schneller Klassenerkennung, hoher Modellgenauigkeit und geringer Latenz bieten. Die Ergebnisse zeigen, dass datengetriebene Methoden in den frühen Phasen des iterativen Prozesses stark sind, da sie den Datenraum erkunden und zu einer schnelleren Erkennung neuer Klassen führen. Im Gegensatz dazu bieten modellbasierte Methoden in späteren Phasen Vorteile, da sie die Entscheidungsgrenzen verfeinern und die Genauigkeit mit zunehmender Datenmenge steigern. Die Überlegenheit der gezielten Stichproben gegenüber zufälligen Stichproben zeigt sich bei unausgeglichenen Datensätzen besonders deutlich. Des Weiteren zeigt die Arbeit, dass die GPU-Beschleunigung die Latenz im iterativen Zyklus reduziert und somit die kritische Schwelle von weniger als einer Sekunde pro Auswahlschritt einhält, was flüssige Interaktionen ermöglicht.

Analyzing unstructured data such as images presents a major challenge for exploratory data analysis due to their high dimensionality. The data must first be transformed into embeddings, which results in lower dimensionality where the data are more closely grouped. Sampling is essential to make these datasets more understandable for humans through visualization. This work aims to explore how interactive systems can provide representative and interpretable samples quickly, even from large and unbalanced image datasets. Standard methods like random sampling can reach their limits and often fail to capture rare classes, leading to biases in interpretation. Within a standardized interaction protocol, various data-driven strategies (e.g., farthest sampling and Dα sampling) and model-aware strategies (e.g., min-margin and disagreement) are compared with random sampling. The goal is to investigate which strategies offer the best balance between fast class discovery, high model accuracy, and low latency within a defined interaction budget. The results show that data-driven methods are strong in the early stages of the iterative process, as they explore the data space and lead to faster discovery of new classes. In contrast, model-aware methods offer advantages in later stages, as they refine the decision boundaries and efficiently increase accuracy as labeled data become available. The superiority of targeted sampling over random sampling is particularly evident with unbalanced datasets. Furthermore, the work shows that GPU acceleration reduces latency in the iterative cycle, thus maintaining the critical threshold of less than one second per selection step, enabling smooth interactions.