Blind performance estimation and quantizer design with applications to relay networks

Abstract

In dieser Dissertation werden blinde Schätzer für einige Gütekriterien von Bayesschen Detektoren beschrieben, es wird rate-information-optimale Quantisierung diskutiert, und es werden Algorithmen zum Entwurf von Quantisierern im Bereich der Datenübertragung eingeführt. Die in diesen Bereichen erzielten Ergebnisse werden schließlich auf ein Relais-basiertes kooperatives Übertragungsverfahren angewandt. Nach einer Abhandlung der für diese Dissertation notwendigen Grundlagen behandeln wir blinde Güteschätzung für Bayessche Detektoren. Wir betrachten binäre sowie M-fache Hypothesentests und stellen blinde Schätzer für die bedingten und unbedingten Fehlerwahrscheinlichkeiten, für den minimalen mittleren quadratischen Fehler und für die Transinformation vor. Es wird gezeigt, dass die vorgeschlagenen blinden Schätzer erwartungstreu und konsistent sind. Weiters vergleichen wir die blinden Schätzer für die Fehlerwahrscheinlichkeiten mit den entsprechenden nicht-blinden Schätzern. Wir geben Bedingungen an, unter denen die blinden Schätzer ihre nicht-blinden Pendants für beliebige Verteilungen der Daten dominieren. Insbesondere zeigen wir, dass der blinde Schätzer für die unbedingte Fehlerwahrscheinlichkeit den entsprechenden nicht-blinden Schätzer bezüglich des mittleren quadratischen Fehlers stets dominiert. Anschließend wird die Cramer-Rao-Schranke für die Schätzung der Bitfehlerwahrscheinlichkeit eines Maximum-a-posteriori-Detektors hergeleitet. Darüber hinaus wird gezeigt, dass für dieses Schätzproblem kein effizienter Schätzer existiert. Wir beschließen die Untersuchung von blinden Güteschätzern mit der Diskussion einiger Anwendungsbeispiele. Danach beschreiben wir einen Ansatz zur Quantisierung, den wir Rate-information-Quantisierung nennen. Der Grundgedanke von rate-information-optimaler Quantisierung ist, Daten derart zu komprimieren, dass die quantisierte Darstellung möglichst aussagekräftig über eine andere Zufallsvariable ist. Diese mit den Daten korrelierte Zufallsvariable bezeichnen wir als Relevanzvariable. Der Rate-information-Ansatz ist im Gegensatz zum Rate-distortion-Ansatz für Anwendungen im Bereich der Übertragungstechnik sehr gut geeignet. Wir richten unser Hauptaugenmerk auf den Fall einer Gaußschen Verbundverteilung von Daten und Relevanzvariable. In diesem Fall finden wir geschlossene Ausdrücke für den optimalen Abtausch zwischen der Quantisierungsrate und der erhalten bleibenden Information über die Relevanzvariable. Wir nennen diesen Abtausch den Rate-information-Trade-off, und wir beweisen, dass der optimale Rate-information-Trade-off durch geeignete lineare Filterung mit anschließender, im Sinne des mittleren quadratischen Fehlers optimaler, Quellencodierung erreicht werden kann. Dieses Ergebnis stellt eine Verbindung zwischen Rate-distortion-Theorie, Gaußschem Information-bottleneck und Wiener-Filterung her. Weiters zeigen wir, dass optimierte skalare Quantisierer den asymptotischen Rate-information-Trade-off beinahe erreichen. Im Anschluss betrachten wir Quantisierung im Kontext der Übertragungstechnik und stellen Algorithmen für den Entwurf von Quantisierern vor, welche die erreichbare Datenrate maximieren. Einer der vorgestellten Algorithmen funktioniert ähnlich wie der berühmte Lloyd-Max-Algorithmus, mit dem Unterschied, dass er nicht die Signalverzerrung minimiert sondern die Transinformation maximiert. Zudem schlagen wir einen Greedy-Algorithmus für den Entwurf skalarer Quantisierer vor, der konzeptionell einfach ist und geringen Rechenaufwand aufweist. Anschließend erweitern wir das Konzept der kanaloptimierten Vektorquantisierung, welches ein bekanntes Verfahren zur gemeinsamen Kanal- und Quellencodierung darstellt, indem wir die Transinformation als Optimalitätskriterium verwenden. Das zugehörige Optimierungsproblem wird mit Hilfe eines Algorithmus gelöst, der auf der information-bottleneck-Methode basiert. Zum Abschluss dieses Teils unserer Arbeit vergleichen wir die vorgeschlagenen Algorithmen und diskutieren Anwendungsbeispiele. Abschließend wenden wir die zuvor gewonnenen Ergebnisse auf ein kooperatives Übertragungsverfahren für den Mehrfachzugriff-Relais-Kanal mit mindestens zwei Quellen an. In diesem Übertragungsverfahren quantisiert das Relais die Empfangssignale und wendet anschließend Netzcodierung auf die quantisierten Daten an. Für die Optimierung der Quantisierer am Relais verwenden wir unseren Lloyd-Max-artigen Algorithmus. Der Entwurf der Netzcodierung erfolgt mittels einer geeigneten Modifikation des zuvor vorgestellten Algorithmus für den Entwurf kanaloptimierter Vektorquantisierer. Die Signalverarbeitung am Relais ist einfach zu implementieren und gewährleistet, dass das betrachtete Übertragungsverfahren vorteilhaft mit der Anzahl der Quellen skaliert. Wir geben numerische Ergebnisse an, welche die hervorragende Leistungsfähigkeit unseres Übertragungsverfahrens bestätigen. Zudem untermauern diese Ergebnisse die Nützlichkeit der von uns vorgeschlagenen blinden Güteschätzer.

In this thesis, we introduce blind estimators for several performance metrics of Bayesian detectors, we study rate-information-optimal quantization and introduce algorithms for quantizer design in the communications context, and we apply our results to a relay-based cooperative communication scheme. After a discussion of the background material which serves as a basis for this thesis, we study blind performance estimation for Bayesian detectors. We consider simple binary and M-ary hypothesis tests and introduce blind estimators for the conditional and unconditional error probabilities, the minimum mean-square error (MSE), and the mutual information. The proposed blind estimators are shown to be unbiased and consistent. Furthermore, we compare the blind estimators for the error probabilities to the corresponding nonblind estimators and we give conditions under which the blind estimators dominate their respective nonblind counterpart for arbitrary distributions of the data. In particular, we show that the blind estimator for the unconditional error probability always dominates the corresponding nonblind estimator in terms of the MSE. Subsequently, the Cramer-Rao lower bound for bit error probability estimation under maximum a posteriori detection is derived. Moreover, it is shown that an efficient estimator does not exist for this problem. Application examples conclude the discussion of blind performance estimators. We then introduce an approach to quantization that we call rate-information quantization. The main idea of rate-information-optimal quantization is to compress data such that its quantized representation is as informative as possible about another random variable. This random variable is called the relevance variable and it is correlated with the data. The rate-information approach is well suited for communication problems, which is in contrast to rate-distortion (RD) quantization. We focus on the case where the data and the relevance variable are jointly Gaussian and we derive closed-form expressions for the optimal trade-off between the compression rate and the preserved information about the relevance variable. It is then shown that the optimal rate-information trade-off is achieved by suitable linear preprocessing of the data with subsequent MSE-optimal source coding. This result connects RD theory, the Gaussian information bottleneck, and minimum MSE estimation. Furthermore, we show that the asymptotic rate-information trade-off can be closely approached using optimized scalar quantizers. Next, we consider quantization in a communications context and we introduce algorithms which allow us to design quantizers that maximize the achievable rate. One of our algorithms operates in a similar manner as the famous Lloyd-Max algorithm, but it maximizes the mutual information instead of minimizing the average distortion. Moreover, we propose a greedy algorithm for scalar quantizer design which is conceptually simple and computationally attractive. Subsequently, the concept of channel-optimized vector quantization, which is a well known approach to joint source-channel coding, is extended to mutual information as optimality criterion. The resulting optimization problem is solved using an algorithm that is based on the information bottleneck method. To conclude the discussion of quantization for communication problems, we compare the proposed algorithms and provide application examples. Finally, we apply our results to a cooperative transmission scheme for the multiple-access relay channel with two or more sources. In this scheme, the relay quantizes the received signals and performs network encoding of the quantized data. The quantizers at the relay are optimized using our Lloyd-Max-like algorithm. The network encoder is designed using a suitably modified version of the previously introduced algorithm for channel-optimized vector quantizer design. The relay operations are simple to implement and allow the considered transmission scheme to scale well with the number of sources. We provide numerical results that confirm the excellent performance of our scheme and underpin the usefulness of the proposed blind performance estimators.