Integration of relative and global orientation methods using a moving ToF camera

Abstract

Das Ziel dieser Arbeit ist die Bestimmung und Verbesserung der Trajektorie einer bewegten Distanz-Kamera. Um ein Objekt mittels Bildern rekonstruieren zu können, muss die Position und die Stellung der Kamera im Raum zum Zeitpunkt der Aufnahme bekannt sein. Die Genauigkeit des geometrischen Modells hängt von der Genauigkeit der äußeren Orientierung der Kamera ab, deswegen widmet sich diese Arbeit der Schätzung und Genauigkeitssteigerung der Kamera-Trajektorie. Einerseits wird die Kamera-Trajektorie diskret auf Basis der äußeren Orientierungen der Bündelblockausgleichung hergestellt, andererseits liefert der Range Optical Flow in den Amplituden- und Distanzbildern eine relative Orientierung zwischen aufeinanderfolgenden Bildern. Durch Aufsummierung der einzelnen relativen Orientierungen erhällt man ebenfalls die Kamera-Trajektorie. Basierend auf einem Vergleich dieser Trajektorien, wird die These formuliert, dass die Integration beider Verfahren zu einer glatten, erwartungstreuen Trajektorie führt. Das Modell der Bündelblockausgleichung lässt sich einfach erweitern, weshalb die relative Orientierung in diese Ausgleichung integriert wird. Dafür muss ein funktionaler Zusammenhang zwischen den relativen Orientierungs-Ergebnissen und den Parametern der Bündelblockausgleichung definiert werden. Das stochastische Modell wird ebenfalls um die Kovarianzmatrix der relativen Orientierung erweitert. Weiters werden die Distanzmessungen der ToF-Kamera in das Modell inkludiert. Die Gewichtung verschiedener Beobachtungstypen wird auf Basis der Varianzkomponentenschätzung durchgeführt. Die Integration der relativen Orientierung verbessert den Trajektorienfehler um einen Faktor 14 und die Präzision der äußeren Orientierung um einen Faktor 3. Da Voraussetzungen der kleinsten Quadrate Ausgleichung sowie der Varianzkomponentenschätzung nicht erfüllt sind, dürfen diese Ergebnisse nicht unreflektiert übernommen werden. Obwohl grobe Fehler entfernt und systematische Fehler in den Distanzbeobachtungen berücksichtigt werden, entspricht die Verteilung der Verbesserungen nicht einer Normalverteilung. Auch die geschätzte Kamera-Trajektorie zeigt, dass noch systematische Fehler in den Distanzen enthalten sind.

The aim of this work is the estimation and enhancement of a trajectory formed by a moving ToF camera. The camera pose has to be known for each image in order to reconstruct the object in a common reference frame, recorded from multiple views. The quality of the model certainly depends on the quality of the orientation. This work deals with the reachable precision of the camera trajectory and with its improvement potential. The camera poses are estimated by means of the global orientation method - the bundle adjustment - on the one hand and by the relative orientation method, which bases on the range and optical flow in the image, on the other hand. The bundle adjustment produces unbiased, but noisy estimates. In contrast, the relative orientation shows a smooth trajectory with a large accumulated error. Those deficiencies of each method led to the formulation of the hypothesis, that the integration of those methods results in a smooth unbiased estimate of the trajectory. The bundle adjustment is an easily adaptable method, which simultaneously estimates all unknown parameters. Therefore, the relative orientation is integrated in the bundle adjustment. The relative orientation result, consisting of the difference translation and the difference rotation between two subsequent frames, is expressed as a function of the parameters of the bundle adjustment. The stochastic model is extended by the covariance matrix of the relative orientation. The range measurements, performed by the ToF camera, are introduced into the model as well. The weighting of the different observation types is accomplished by the variance component estimation (VCE). The integration of both methods decreases the trajectory error by a factor of 14 and the precision of the parameters improved by a factor of 3. However, the relative orientation results are not Gaussian distributed, thus the preconditions for an optimal estimate and the application of the VCE are not given. Hence the results, may not be adopted uncritically. Although gross errors have been eliminated and systematic errors have been regarded, the distribution of the range residuals does not correspond to a normal distribution. The trajectory, derived by integrating the relative orientation and the ranges, has an offset. Due to not considered systematic range errors the observations got deformed and the camera trajectory is moved towards the object.