Performance limits of Gaussian channels with quantized feedback

Abstract

Diese Diplomarbeit beschäftigt sich mit der Analyse von Kapazitätsgrenzen Gaußscher Kanäle mit quantisiertem Feedback. Die Kanalkapazität eines Kanals mit additivem weißen Gaußschen Rauschen wurde bereits durch Shannon untersucht und ist als Shannon-Kapazität bekannt. Ebenfalls bereits von Shannon mathematisch formuliert wurde das Problem der optimalen Kompression einer Quelle in seiner Rate-Distortion-Theorie. Diese zwei Aspekte werden in dieser Arbeit kombiniert, indem der Kanalausgang quantisiert werden soll. Es wird gezeigt, dass die im Rate-Distortion Sinne optimale Komprimierung des Kanalausgangs die Transinformation nur im skalaren Fall maximiert, im Vektorfall jedoch im Allgemeinen suboptimal ist. Für den Vektorfall wird gezeigt, dass ein auf Basis der Information-Bottleneck Methode entworfener Quantisierer die Transinformation maximiert. Anhand beispielhafter Kanäle werden die Unterschiede der Transinformationen beider Methoden erörtert und quantifiziert. Es wird gezeigt, dass der Unterschied im Wesentlichen durch die Kanaleigenwerte bestimmt wird. Es ist ebenfalls bekannt, dass ein perfekter Rückkanal die Kanalkapazität zwar nicht erhöht, die Fehlerwahrscheinlichkeit für endliche Blocklängen jedoch drastisch reduzieren kann. Die Leistung solcher Systeme mit Rückkanal bricht allerdings ein und es kann keine positive Rate erreicht werden, wenn dieser störungsbehaftet ist. In dieser Arbeit werden Systeme mit quantisiertem Kanalausgang und quantisiertem Rückkanal untersucht und Ausdrücke für deren erreichbarer Rate und Fehlerwahrscheinlichkeiten abgeleitet. Unterschiedliche Quantisierung entspricht dabei einem störungsbehaftetem Rückkanal. Es wird jedoch ein Schema gezeigt welches eine positive Rate erreicht, indem der Empfänger die unterschiedlichen quantisierten Signale ausnutzt.

This thesis studies the performance limits of Gaussian channels with quantized feedback. The channel capacity of a channel with additive white Gaussian noise was already studied by Shannon and is well known as Shannon capacity. The problem of optimal compression of a source was also mathematically formulated by Shannon in his rate distortion theory. These two aspects are combined in this thesis, as the channel output should be quantized. We show that a rate-distortion optimal compression of the channel output maximizes the mutual information only in the scalar case, but is generally suboptimal in the vector case. We show that the information bottleneck method provides a framework for quantizers which maximize the mutual information. By means of some selected channels we discuss the differences in mutual information and quantify those. We show that the difference is primarily determined by the eigenvalues of the channel. It is known that perfect feedback does not increase the channel capacity, but the error probability is substantially decreased for finite blocklengths. The performance of such systems with a noisy feedback channel breaks down, i.e., no positive rate is achievable. In this thesis, we study schemes with quantized channel output and quantized feedback, and we derive equations for the achievable rate and error probabilities of such systems. Here different quantization of channel output and feedback corresponds to noisy feedback. Furthermore, we present a scheme where the receiver has the quantized feedback as side-information to achieve positive rates.