Characterization system for precision 3D sensors

Abstract

Die Verwendung von Kameras, die es ermöglichen eine gegebene Szenerie dreidimensional (3D) aufzunehmen, wurde in den letzten Jahren immer weiter verbreitet. Einen maßgeblichen Beitrag hierzu leisten vor allem Spielkonsolen, die neben dem traditionellen Einsatzgebiet, etwa in der Fertigungstechnik, 3D Kameras für ihre Anwendungen eingeführt haben. Allen voran ist dabei Microsofts Xbox 360 zu nennen, welche über den günstigen 3D-Sensor Kinect verfügt. Durch das Wirkprinzip der Kinect des Projizierens eines infraroten Referenzmusters auf die zu messende 3D Szenerie, ist jedoch eine hohe Beeinflussbarkeit von dem vorhanden Umgebungslicht gegeben; eine Eigenschaft die in gewissen Applikationen, wie etwa bei der Objekterkennung im Straßenverkehr, zu Störungen oder schlimmstenfalls zu Systemausfällen führen kann. Korrelierende Time-of-Flight (ToF) 3D Sensoren, die kommerziell noch keine große Verbreitung finden, sind im Gegensatz dazu weit weniger vom Umgebungslicht beeinflussbar. Im Fokus dieser Dissertation steht die Entwicklung eines Charakterisierungs- und Messsystems für solche ToF Kamera Chips. Das System ist so ausgelegt, dass die Leistungsfähigkeit der zur Verfügung gestellten Chips voll ausgenutzt werden kann, was nicht nur durch die Genauigkeit der Ausleseschaltung sondern auch durch eine Signalansteuerung mit minimalem Cycle-to-Cycle Jitter im Picosekunden-Bereich des ToF Chips erreicht wird. Des Weiteren können die ToF Schaltungen in einem breiten Operationsbereich charakterisiert werden. Die Pixelanzahl des zu verwendenden 3D Kamera Chips ist dabei variabel einstellbar, wobei eine maximale Obergrenze von 128x128 Pixeln besteht. Das System ist in der Lage, die Distanzauflösung durch arithmetisches Mitteln über eine Vielzahl von Distanzwerten intern zu verbessern. Die Zahl, über die gemittelt werden kann, liegt dabei frei wählbar zwischen 0 und 255. Großer Wert wurde auf die Bildübertragungsrate des ToF Kamerasystems gelegt, um ein flüssiges Bild für das menschliche Auge zu gewährleisten, sofern mit den gewählten Kameraparametern möglich. Das Dokument beginnt mit einem kurzen einleitenden Kapitel, das einen Überblick über die Funktionsweise der sich am Markt befindlichen kommerziellen 3D Kamera Systeme verschaffen soll. Vor- und Nachteile der verschiedenen Tiefensensoren werden dabei vorgestellt. Im darauf folgenden Kapitel 2 stehen ToF Sensoren ganz allgemein im Mittelpunkt. Das Kapitel beginnt mit der Erläuterung des Wirkprinzips der ToF Schaltungen. Im Anschluss werden die Funktion und die Anforderungen der verwendeten ToF Kamera Chips bezüglich Ansteuerung und Ausleseprozess dargelegt. Abschließend erfolgt ein Überblick über den aktuellen Stand der Technik von ToF 3D Kameras. Nachdem bis zu diesem Punkt im Dokument großteils allgemeine Informationen vorgestellt wurden, befasst sich Kapitel 3 mit dem Design des vorliegenden Messsystems. Um ein besseres Verständnis zu gewährleisten, wird ausgehend von den Spezifikationen, die vor Entwurfsbeginn bekannt waren, ein grober Überblick über die 3D Chip Anregungs- und Ausleseplatine erstellt. Anschließend folgt eine genaue Erläuterung aller auf der Platine befindlichen Funktionsgruppen. Das soll dazu dienen, das Verstehen der VHDL-Codes, mit denen der FPGA konfiguriert wurde, und der damit elektrisch verbundenen diskreten Schaltungen zu ermöglichen. Ein ToF System muss über eine schnell modulierbare Lichtquelle verfügen, welche die Szenerie vor der Kamera beleuchtet. Am Ende von Kapitel 3 werden drei modulierbare Hochleistungslichtquellen vorgestellt. Des Weiteren wird ein Faseraufbau präsentiert, mit dem der Charakterisierungsprozess reproduzierbar und systematisch durchgeführt werden kann. Das erstellte Messsystem kann als universitär aufgefasst werden. Die verwendeten Ressourcen sind teuer, das System ist unhandlich. Kapitel 4 nimmt diese Tatsache zum Anstoß und untersucht Möglichkeiten, das vorhandene System zu vereinfachen, ohne die erzielbare Messgenauigkeit von derzeit unter 1.5mm zu gefährden. Zum Beispiel wurde das Charakterisierungssystem so entworfen, dass alle Signale, mit denen der Kamera Chip gespeist wird, einen minimalen Jitter aufweisen. In dem Kapitel wird dieser Schritt hinterfragt, die Abhängigkeit von Jitter auf das Distanzmessergebnis wird folglich ermittelt. Es werden auch systematische Fehlerquellen von ToF Systemen untersucht, etwa ein phasenabhängiger Distanzfehler, hervorgerufen durch die Fourier Transformation, welche für das Messergebnis unerlässlich ist. Des Weiteren wird auch der Einfluss der Auflösung des eingesetzten analog-zu-digital Umsetzers hinterfragt. Zu den Messergebnissen werden teilweise Fehlerbehebungsansätze präsentiert. Unter anderem wird als Alternative zu dem FFT-Algorithmus ein neuartiger Algorithmus basierend auf der Methode der kleinsten Quadrate beschrieben, welcher auch den durch die FFT induzierten Fehler ausgleicht. Schlussendlich wird in Kapitel 5 eine Zusammenfassung der zuvor vorgestellten Messergebnisse präsentiert. Mit den sich daraus ergebenden Schlüssen wird versucht, die Komplexität des vorliegenden 3D Kamera Messsystems zu minimieren um die Möglichkeit zu untersuchen, das System mit Hilfe von Bauteile aus dem unteren Preissegment zu realisieren.

The applications using cameras, which have the ability to three dimensionally (3D) record a given scene increased over the past years. An even higher contribution to this process is made by the production of gaming consoles, which introduced 3D cameras to their system, rather than the common application fields such as the engineering or medical industry. This first of all includes the Microsoft XBox 360, providing a low priced 3D sensor named Kinect. The Kinect uses the method of projecting an infrared reference structure on the scenery desired of being recorded, which is however sensitive to the influence of ambient light. In specific applications, e.g., the object recognition used in road accident prevention, this drawback can result in dysfunctions in or even complete system failure. The commercially less widely spread correlating Time-of-Flight (ToF) 3D sensors are a lot more insensitive to ambient light. The present dissertation deals with the development of a characterization and measurement system for camera chips using the above mentioned ToF principle. The system is designed as to fully exploit the performance of the provided chips. This was not only achieved by means of the accuracy of the acquisition circuitry but furthermore by an excitation signal sequence having a minimum cycle-to-cycle jitter in the picoseconds-range of the ToF chip. The integrated optical sensors can additionally be characterized in a broad operational range. At the same time the pixel array size of the investigated camera chip can be adjusted variably, whereas a maximum capability of 128x128 pixels exists. The system provides the feature of arithmetically averaging a predefined number of distance values to increase the precision autonomously. The amount of values averaged can be freely chosen from 0 up to 255. Special attention has been devoted to the frame rate of the system as for the human eye to perceive a smooth, uninterrupted motion as long as it is possible with the chosen camera parameters. This document starts off with a short introductory chapter, which provides an overview over the operating mode of various 3D camera systems currently available on the market. Pros and Cons of the different range sensors are being presented. Chapter 2 describes ToF distance measurement devices in general. At first the operation principle of such sensors is outlined. Furthermore the functions and requirements of the inserted ToF camera chips regarding their excitation signal sequence and read-out process are being discussed. Finally a survey of the current state of the art of ToF 3D cameras is given. Until now the document primarily describes overall information. Chapter 3 then addresses the design of the present measurement system. As to give more insight into the matter, a rough overview over the 3D chip excitation- and readout-board based on the specifications known from the beginning of the system design is being derived. Based on this, a detailed explanation of each of the functional groups that are part of the system is given. These are to provide understanding of the VHDL-codes configuring the FPGA and the discrete circuits, which are attached to it. A ToF system has to include a modulatable high-frequency light source, which illuminates the scenery in front of the camera. Chapter 3 closes with the presentation of three high-power infrared light sources. In addition, a fiber-based optical setup giving the possibility to perform a characterization process providing reproducible systematic results is described. The produced measurement system can be defined as of academic type. The used resources are costly and the system is bulky and difficult to handle due to its size. Chapter 4 tries to find possibilities as to facilitate the structure and with it the complexity of the existing system without jeopardizing the performance of it, whereas the current accuracy lies below 1.5mm. The characterization system was, e.g., designed to to ensure a minimal jitter for all signals that are fed to the camera chip. This step is now being questioned and furthermore, the dependence of excitation signal-s jitter on the distance measurement result is being investigated. Additionally, different sources of systematic errors within the ToF system, such as a phase dependent distance error, caused by the Fourier transformation which is essential for the derivation of the measurement result, are being analyzed. Moreover, the influence of the resolution of the applied analog-to-digital converter is critically scrutinized. As for the measurement results, some approaches are presented for reducing certain errors during the distance acquisition process as well. To only mention one, a novel algorithm based on the least squares method is introduced as alternative to the FFT-based phase calculation. It is capable of avoiding the FFT-induced error previously mentioned. Finally, chapter 5 provides a summary of the measurement results presented in the previous chapters. The conclusions, which arouse due to the measurements are then used to reduce the complexity of the existing 3D camera measurement system to finally find a possibility to enable the buildup of the system using far less expensive components.