Integration von automatischer Shoterkennung und Disparitätsabschätzung in ein Stereo Matching Framework

Abstract

Zwei parallel ausgerichtete Kameras nehmen je ein zweidimensionales Bild auf. Die korrespondierenden Bilder haben aufgrund des Horizontalabstandes der Kameras leicht unterschiedliche Perspektiven. Dies wird genützt, um die Tiefeninformation zu berechnen.<br />Eine Disparitätskarte wird oft als Grauwertbild dargestellt und gibt über die Tiefenanordnung der Objekte im Raum Auskunft. Im Bereich autostereoskopischer Bildschirme kommen Disparitätskarten häufig zum Einsatz, um den Inhalt dreidimensional darzustellen und um neue Ansichten ("Novel Views") zu generieren. Ziel dieser Arbeit ist, einen bereits bestehenden Stereomatching-Ansatz, der bisher manuelle Interaktion benötigte, vollständig zu automatisieren. Dafür wird zunächst eine automatische Shoterkennung erstellt, wobei unterschiedliche Verfahren implementiert werden: Color Histogram Difference und Edge Change Ratio. Danach wird evaluiert, welches Verfahren (bzw. Kombination) mit welchen Parametern zu den besten Ergebnissen führt. Da nun die, zu einem Shot gehörigen, Frames bekannt sind, ist es möglich, die minimale/maximale Disparität eines Shots abzuschätzen. Aus Aufnahmen mit unterschiedlichen Stereo-Setups werden drei Testsequenzen erstellt. Die Setups reichen von zwei handelsüblichen Consumer-Kameras über eine Mittelklasse-Stereokamera, bis hin zu professionellen Studiokameras. Ein Vergleich dieser Setups wird angestellt und die Auswirkung der unterschiedlichen Setups auf die Testergebnisse festgestellt. Die Ergebnisse der automatischen Shoterkennung und Disparitätsabschätzung werden mit manuell ermittelten Ergebnissen überprüft. Abschließend werden die Ergebnisse der Arbeit evaluiert und zusammengefasst.<br />

Two 2D-images, recorded from a pair of parallel cameras, have a slightly different perspective because of their horizontal displacement.<br />This can be used to compute the pixel's distance from the camera, which is inversely proportional to the pixel's depth. The depth of each pixel can be represented as a gray-scale image, called disparity map.<br />Disparity maps have become increasingly important with the development of autostereoscopic displays, which use a left image and the corresponding disparity map as input for generating 3D content with novel viewpoints.<br />In this thesis, an automatic stereo conversion procedure for videos is proposed. First, a shot detection algorithm is presented which combines two methods: Color-Histogram and Edge Change Ratio. The experimental results are evaluated to detect the optimal parameter set for the best algorithm performance. Now, knowing the shot boundaries, the minimal and maximal disparity for every shot can be computed.<br />From a collection of self-made stereo records and professional records, three diverse video test sets were prepared. Each sequence was captured with a different stereo-setup ranging from two commercial user cameras over a middle-class stereo camera to a professional studio camera. A comparison of these setups is presented as well as the analysis concerning the issue, if the different setups had any effect on the test results. The output of the automatic shot detection and disparity range detection is verified by manually determined values. Finally the results are evaluated and summed up.