SaCoDi: Semi-Automatic Concept Discovery Utilizing Multimodal Models and Interactive Refinement

Abstract

Umfangreiche Bildsammlungen enthalten häufig wiederkehrende visuelle Konzepte. Ohne vorgegebene Klassen oder Taxonomien lassen sie sich jedoch nur schwer explorieren. Automatisch erzeugte Gruppen bilden nicht notwendigerweise jene Konzepte oder Granularitäten ab, die für eine konkrete Analyse relevant sind. Diese Arbeit stellt daher Semi-Automatic Concept Discovery (SaCoDi) vor, einen Human-AI-Workflow, der Bildsammlungen clustert und beschriftet und Nutzern erlaubt, Cluster zu teilen oder zusammenzuführen. SaCoDi wurde als Prototyp in Python umgesetzt. Seine Kommandozeilenschnittstelle wurde für kontrollierte Experimente verwendet, während eine grafische Oberfläche die Inspektion und Verfeinerung von Clustern unterstützt. Verglichen werden eine deterministische WordNet-Beschriftung, die direkte Beschriftung durch ein multimodales Sprachmodell und die hybride Abstraktion von WordNet-Kandidaten durch ein Sprachmodell. Experimente auf STL-10, PACS und Food-101 untersuchen Labelqualität, den Einfluss von Inhalt und visueller Domäne, Verfeinerungsoperationen und Laufzeit. Der direkte multimodale Ansatz erzielt in jeder Datensatzkonfiguration die höchste gewichtete Abdeckung, Exklusivität und semantische Kompatibilität und liegt bei der Klassenkompatibilität gleichauf oder vorn. Der WordNet-Ansatz ist reproduzierbar und überprüfbar, kann jedoch zu allgemeine oder falsche Begriffe auswählen. Der hybride Ansatz kann geeignetere Abstraktionen ableiten, erreicht aber nicht durchgehend die Spezifität des direkten Ansatzes. Alle initialen Ausgaben sind strukturell gültig. Lokales Reclustering erzielt in vier ausgewählten Split-Fällen die höchste Klassenreinheit, während hybride und visuelle Merges Abdeckung und Exklusivität unterschiedlich gewichten. Die semantische Beschriftung dominiert die Laufzeit; lokale Änderungen sind günstiger als eine vollständige Neuberechnung. Die Evaluation verwendet semantische Bewertungen des Autors, keine Benutzerstudie und kuratierte Klassifikationsdatensätze. Die Ergebnisse stützen daher die technische und methodische Machbarkeit von SaCoDi, nicht dessen Nutzen für reale Benutzergruppen.

Large image collections often contain recurring visual concepts. Without predefined classes or taxonomies, however, they are difficult to explore. Automatically generated groups do not necessarily reflect the concepts or granularity relevant to a particular analysis. This thesis therefore introduces Semi-Automatic Concept Discovery (SaCoDi), a human-AI workflow that clusters and labels image collections while allowing users to split or merge clusters. SaCoDi is implemented as a Python prototype. Its command-line interface was used for controlled experiments, while a graphical interface supports cluster inspection and refinement. Three labeling strategies are compared: deterministic WordNet labeling, direct labeling by a multimodal language model, and hybrid language-model abstraction of WordNet candidates. Experiments on STL-10, PACS, and Food-101 evaluate label quality, the effects of content and visual domain, refinement operations, and runtime. The direct multimodal strategy achieves the highest weighted coverage, exclusivity, and semantic compatibility in every dataset configuration and the highest or tied-highest class compatibility. The WordNet strategy is reproducible and inspectable but can select overly broad or incorrect terms. The hybrid strategy can derive more suitable abstractions but does not consistently match the direct strategy's specificity. All initial outputs are structurally valid. Local reclustering yields the highest class purity in four selected split cases, while hybrid and visual merges balance coverage and exclusivity differently. Semantic labeling dominates runtime, and local edits are cheaper than complete recomputation. The evaluation uses single-author semantic judgments, no user study, and curated classification benchmarks. The findings therefore support SaCoDi's technical and methodological feasibility, not its effectiveness for end users.