Intelligent image acquisition for an embedded stereo vision sensor

Abstract

Im Rahmen des EU Projektes robots@home wird vom Austrian Institute of Technology (AIT) ein eingebetteter Stereo Vision Sensor entwickelt. Ein solcher Sensor verwendet zwei Kamerabilder um eine 3D Karte zu erstellen. Dieser Prozess ist vergleichbar mit der Art und Weise wie das räumliche Sehen beim Mensch entsteht. Die Qualität eines Stereo Vision Sensors hängt von der Qualität des Stereo Matching Algorithmus und von der Qualität der Eingangsbilder ab. Diese Diplomarbeit präsentiert einen intelligenten Ansatz zur Verbesserung der Qualität der Eingabebilder. Damit erhöht sich die Genauigkeit der Tiefenausgabe des Sensors. Die Diplomarbeit zeigt eine Lösung für ein intelligentes Bildgewinnungsystem für High Dynamic Range (HDR) Kameras.<br />Eine komplette Implementierung der benötigten Hardware für den vorhandenen Stereo Vision Sensor wird beschrieben. HDR Kameras erlauben es Szenen unter schwierigen Belichtungsbedingungen mit detailliert wieder zu geben. Dazu müssen spezielle Kameraparameter an die Szenerie angepasst werden. Die Schlüsselkomponenten für die Optimierung der Eingabebilder sind eine Einheit für Histogrammausgleich zur Kontrastmaximierung sowie ein modellbasierter Kameraregler zur Anpassung der HDR Kameras an die Szenerie. Der kritische Teil bei der Entwicklung eines modellbasierten Reglers ist eine korrekte Kameramodellierung. Um die Kameras zu modellieren wurden Messaufnahmen mit einer dedizierten Messanordnung aufgenommen. Darauf hin werden die Aufnahmen in Datenpunktwolken umgewandelt aus denen ein gültiges Kameramodell erstellt wird. Mit Hilfe dieses Modells können die Auswirkungen von Änderungen der Kameraparameter auf das Kamerabild vorausgesagt werden.<br />Dies ermöglicht eine korrekte Einstellung der Kameras für die aktuelle Umgebung. Der Regler erreicht damit eine Anpassung des Sensors an die sich ändernden Lichtverhältnisse.<br />

In the course of the EU project robots@home an embedded stereo vision sensor is being developed by the Austrian Institute of Technology (AIT). Such a sensor uses two camera input images to generate a 3D depth map. This process is similar to how humans perceive depth in space. The quality of the output of a stereo sensor depends on the quality of the stereo matching algorithm as well as the quality of the supplied input images. This thesis focuses on an intelligent approach to image acquisition. The quality of the input images can be greatly improved which increases accuracy of the depth output of the stereo vision sensor. The thesis presents a solution for an intelligent image acquisition system for high dynamic range (HDR) cameras. Furthermore the implementation of needed hardware components is described. HDR cameras capture in detail all scenes even under difficult illumination conditions. For this purpose special camera parameters have to be set according to the scenery. The key components to optimize the input images are a histogram equalization unit maximizing image contrast and a model-based camera controller adapting the HDR cameras to the scenery.<br />The most essential part of the controller is a correct camera model.<br />This is achieved by taking measurement images using a dedicated measurement assembly. The images are transformed into data point clouds which are turned into the camera model. The calculated camera model can be used to predict the effects of camera parameter changes on the output images and allows the calculation of fitting camera parameters for the current scenery. This way the controller achieves an adaptation of the sensor to the environment.<br />The thesis closes with an evaluation of the developed components and an outlook on future improvements.