Content-based skin detection and its application in video annotation

Abstract

Diese Diplomarbeit stellt ein Verfahren zur Erkennung von Hautfarbe in Videos vor. Zur Erkennung der Hautfarbe werden zwei Methoden kombiniert: Gesichtserkennung anhand von charakteristischen Merkmalen in Bildern und Hauterkennung basierend auf statischen Farbbereichen. Der Fokus der Arbeit liegt darin Hautfarbe auch in niedrig aufgelösten Videos zu erkennen, wie diese in zahlreichen Videoplattformen verfügbar sind. Der Gesichtserkennungsalgorithmus, der in dieser Arbeit verwendet wird, benötigt keine Farbinformationen, um Gesichter in Bildern zu finden. Hauterkennung, die statische Farbbereiche verwendet, ist so ausgelegt, dass sämtliche menschliche Hautfarbtöne auch erkannt werden. Durch diese Auffächerung werden dann auch Bereiche eines Bildes als Haut erkannt, obwohl diese im aktuellen Kontext nicht Haut darstellen. Die Kombination der beiden Methoden soll die Schwachpunkte der Hauterkennung, die auf statischen Farbbereichen basiert, überwinden. Die Farbinformationen des erkannten Gesichts werden verwendet, um den Hautfarbbereich an das aktuelle Video anzupassen. Die statisch definierten Hautfarbregionen werden als Ausgangsmodell verwendet werden. Die Farbinformationen des Gesichts schränken die statischen Regionen dann auf die relevanten Bereiche für das Video ein.<br />Der entwickelte Algorithmus wurde an zufällig ausgewählten Videos getestet, die von einem externen Unternehmen zur Verfügung gestellt beziehungsweise von Onlinevideoplattformen heruntergeladen wurden. Die Ergebnisse der Evaluation werden in dieser Arbeit vorgestellt. Außerdem wurde im Rahmen der Auswertung auch eine Onlineumfrage durchgeführt.<br />Diese wurde durchgeführt, um festzustellen, ob Kontext für die Hauterkennung durch Menschen wichtig ist.<br />

This thesis proposes a method to detect skin color in video sequences by using a combination of two different methods, face detection based on image features and skin detection based upon static color ranges. The focus lies on detecting skin in low-resolution videos as they are uploaded to various community websites by its users. Feature based face recognition detects faces in images without the need of the color information in the image. Skin detection using static color regions allows to detect skin regions in images. These color regions are usually modeled so that a great variety of skin color is detected and that results often in a lot of false positives. By combining these two methods the weak points of static skin color modeling should be overcome. The color information within the detected face regions, which introduces context to skin detection, is used to adapt the skin color model so that the original static skin region is narrowed down to a sub region that models best the skin found in the current video sequence.<br />Further, a variety of people have been asked to compile an online poll to understand whether context is important to skin detection. Results for the developed algorithm are presented for a variety of randomly selected videos that have been provided by an external company and have been downloaded from online video portals.