Contextual skin segmentation for content filtering

Abstract

Techniken zur automatischen Erkennung von Hautfarbe in Bild- und Videomaterial finden Anwendungen in zahlreichen Feldern der Mensch-Computer-Interaktion.<br />Zusätzlich wird eine automatisierte Analyse von visuellen Daten mit steigender Tendenz für Detektion und Tracking von Menschen oder einzelner Körperteile gefordert.<br />Beispielhaft sind an dieser Stelle auch die automatische Gesichtserkennung und das Auffinden nackter Menschen in Videomaterial durch Hautfarbendetektion zur Unterstützung sicherheitstechnischer Problemstellungen.<br />Unabhängig von der Ethnie der abgebildeten Personen liegt der farbliche Bereich von Hautfarbe in einem kleinen Spektrum (etwa rot, gelb und braun). Hauptproblem der Detektion stellen die Veränderungen von Lichtverhältnissen von Bild zu Bild dar.<br />Zusätzliche Schwierigkeiten treten durch Objekte auf, die haut ähnliche Farben aufweisen.<br />Das visuelle System des Menschen kann Hände und Gesichter mit Leichtigkeit erkennen, die Automatisierung und das Simulieren dieser Fähigkeit mit Hilfe des Computers stellt ein schwieriges und anspruchsvolles Problem dar. In dieser Arbeit werden Lösungsansätze dieser Problematik mit einer automatischen und robusten Hautfarbendetektion bearbeitet und diskutiert.<br />Ziel dieser Dissertation ist die Entwicklung von Algorithmen zur robusten und effizienten Detektion von Haut durch die Erkennung der Hautfarbe unabhängig von Beleuchtungsverhältnissen und der Umgebung. Der Fokus liegt in dieser Arbeit auf der Nutzung kontextabhängiger Informationen, verschiedener Farbräume und mathematischer Modelle zur Beschreibung der Hautfarbe. Als einfachste und effizienteste Methode stellt die Arbeit neue statistische Filter basierend auf zwei Farbkomponenten in den IHLS und CIELAB Farbräumen vor. Durch umfassende Experimente wird desweiteren bewiesen, dass mit den in zylindrischen Farbräumen enthaltenen Informationen die besten Ergebnisse erzielt werden können und der Faktor Lichtintensität die Qualität der Ergebnisse entscheidend beeinflusst. Dahingegen ist für eine pixelweise Klassifikation die Wahl des richtigen Hautfarbenmodells entscheidend. Die höchste Leistung wird mit baumbasierten Klassifikationsalgorithmen, Random Forest und J48, erreicht. Mehr Robustheit kann durch den Einsatz von Farbkonstanzalgorithmen erzielt werden. Hautfarbe korreliert unterschiedlich abhängig vom Farbraum und der jeweiliger Achse. Für die Verschmelzung verschiedener Farbräume wird das Finanzmodell nach Markowitz herangezogen. Mit einer Risiko- und Gewinnanalyse der verschiedenen Farbinformationen werden die Gewichtungen für die optimale Verschmelzung von Farbinformationen geschätzt. Die Entwicklung eines auf der Graph Cut Methode basierten Detektionsalgorithmus sieht die Hautfarbenerkennung als Problem der optimalen Energieminimierung. Dabei wird die lokale Abhängigkeit von Pixelinformationen ausgenutzt. Die Verwendung eines Universal Seeds bietet die Möglichkeit zur allgemeinen Detektion ohne anwendungsspezifische Trainingsdaten. Die Arbeit stellt einen effizienten Echtzeitalgorithmus vor, der mehrere Hautfarbenmodelle und kontextabhängige Informationen nutzt um optimale Ergebnisse zu erzielen. Entscheidend ist hierbei die Robustheit gegenüber wechselnder Beleuchtungsverhältnissen und verschiedener Hautfarben.<br />Als Anwendungsbeispiel werden pornographisch bedenkliche Videos in großen Datenbanken gekennzeichnet. Für jedes Video wird ein Skin Path erstellt, der die Natur eines Videos in einem Graph erlaubt. Die Ergebnisse zeigen, dass die im Rahmen dieser Arbeit entwickelten Algorithmen die als zweifelhaft deklarierten Videos automatisch detektierten.<br />Diese Ergebnisse können dementsprechend weitere Bereiche, in denen die automatische Klassifikation von visuellen Inhalten entscheidend ist, wie z.B.<br />Gesichtserkennung, grundlegend beeinflussen.<br />

Skin color detection is a popular and useful technique because of its wide range of applications both in human computer interaction and content based analysis. Applications such as detecting and tracking of human body parts, face detection and recognition, naked people detection and people retrieval in multimedia databases all benefit from skin detection. In images, skin-color lies within a small region (red, yellow and brown) of the color spectrum, regardless of the ethnicity of the person within an image. One major problem limiting the robustness of color-based skin detection is varying lighting conditions, resulting in the same skin area appearing as two different colors under two different illumination sources. Even under constant illumination, skin-color may vary between individuals. Objects having skin-like colors in our daily life also pose challenges for skin detection algorithms. While the detection of faces, hands, or just skin is one of the easier tasks for humans, this is a difficult and challenging task in computer vision. For face detection, face recognition and hand detection, a robust skin detection will assist further processing steps.<br />The objective of this study is to arrive at an improved and robust skin detection methods for varying lighting conditions and unconstrained environments. We also focus on the usage of contextual information for skin detection and the evaluation of color spaces and skin color modeling techniques, which will help in the selection of the best combinations for robust skin detection. As a simple and fast method, we introduce two new static filters based on two chrominance components in the IHLS and CIELAB color spaces. Using classifiers and color spaces, we show that cylindrical color spaces outperform other color spaces, the absence of the illuminance component decreases performance, an appropriate skin color modeling approach selection is important for pixel based skin classification, and that the tree based classifiers (Random forest and J48) are well suited to pixel based skin detection.<br />With the usage of color constancy algorithms, it is found that when using classifiers, skin classification can be improved. As fusion of different color spaces for skin detection, the non-perfect correlation between the color space channels is exploited by learning weights based on an optimization for a particular color space channel using the mathematical financial model of Markowitz. With the graph cut approach, we propose a concept for processing arbitrary images using the universal seed, thereby providing a basis for general skin segmentation, exploiting the spatial relationship among the neighboring skin pixels.<br />We present a systematic approach for skin segmentation with graph cuts by using local skin information, the universal seed based skin segmentation and skin augmentation using an off-line learned model, thus providing a basis for merging spatial and non-spatial data. We propose real-time skin detection using the multiple model approach for videos taking advantage of the contextual information for varying illumination circumstances and a variety of skin colors from person to person. As an application of skin detection, we present the usage of skin detection for flagging videos as potentially objectionable due to sexual content of an adult nature. The skin paths are introduced which provide summarization of a video in the form of a path in a skin-face plot, allowing potentially objectionable segments of videos to be found. The comprehensive skin detection study presented should, in combination with other cues, enable robust face detection, hand detection and blocking objectionable content in unconstrained environments.