Information theory on rectifiable sets

Abstract

Entropie und Transinformation stellen wichtige Werkzeuge dar, um Eigenschaften von Wahrscheinlichkeitsverteilungen, speziell in der Kodierungstheorie, zu studieren. Obwohl allgemeine Definitionen beider Konzepte für beliebige Wahrscheinlichkeitsverteilungen zur Verfügung stehen, sind diese schwer anwendbar, was zur Folge hat, dass sich der Großteil der Literatur (z.B. [CT06]) auf die Analyse von diskreten oder kontinuierlichen Zufallsvariablen beschränkt. In dieser Arbeit erweitern wir die Theorie von Entropie und Transinformation und betrachten dabei singuläre Verteilungen auf geeignet "glatten", niedrig dimensionalen Untermengen des Euklidischen Raumes, wo keine Wahrscheinlichkeitsfunktion oder Wahrscheinlichkeitsdichtefunktion zur Verfügung steht. Die Voraussetzungen, die an die Wahrscheinlichkeitsverteilungen gestellt werden, gestalten sich derart, dass viele wohlbekannte Eigenschaften der (differentiellen) Entropie des diskreten (kontinuierlichen) Falls erhalten bleiben. Das Gebiet der geometrischen Maßtheorie bietet den Rahmen für unsere Überlegungen. Im Speziellen greifen wir häufig auf [Fed69] zurück. Die geometrische Maßtheorie beschäftigt sich mit den geometrischen Eigenschaften von Maßen und steht damit in enger Beziehung zur Wahrscheinlichkeitstheorie. Sie ist geeignet, Wahrscheinlichkeitsmaße unter geometrischen Einschränkungen informationstheoretisch zu untersuchen. Wir betrachten eine Zufallsvariable X im Euklidischen Raum. Die Verteilung (d.h. das induzierte Maß) von X ist absolut stetig bezüglich des m-dimensionalen Hausdorff-Maßes und konzentriert auf einer m-dimensional rektifizierbaren Menge E, d.h. das Maß des Komplements von E ist Null. Unter diesen Voraussetzungen leiten wir Ausdrücke für die Entropie \entropy{X}{} her und betrachten außerdem die Transinformation I(X;Y), wenn ähnliche Voraussetzungen für die kombinierte Zufallsvariable (X,Y) gelten. Für die genannten Größen werden Integralausdrücke präsentiert und wir zeigen, wie diese mit Mitteln der geometrischen Maßtheorie umgeformt werden können. Ein weiteres zentrales Resultat ist der Beweis der Relation I(X;Y) = h(X) + h(Y) - h(X,Y) zwischen der Transinformation und der Entropie für die hier neu eingeführten Definitionen dieser Größen. Diese Arbeit soll als theoretischer Ausgangspunkt für weitere Untersuchung dienen. Mögliche Anwendungsbereiche sind z.B. die informationstheoretische Untersuchung dünnbesetzter Quellen in der Quellenkodierung oder der Vektor-Interferenz Kanal in der Kanalkodierung. In beiden Beispielen spielen singuläre Verteilungen auf "glatten", niedrig dimensionalen Untermengen eine wichtige Rolle. Obwohl diese Arbeit auf Anwendungen in der Kodierungstheorie ausgerichtet ist, ist sie doch im Grunde der Maßtheorie zuzurechnen. Anwendungen in anderen Bereichen sind daher durchaus denkbar.

Entropy and - maybe even more so - mutual information are invaluable tools for analyzing properties of probability distributions, especially in coding theory. While there are general definitions for both concepts available for arbitrary probability distributions, these tend to be hard to work with and the literature (e.g., [CT06]) focuses on either discrete, or continuous random variables. In this thesis we extend the theory to singular probability distributions on suitably "smooth" lower-dimensional subsets of Euclidean space, where no p.d.f. or p.m.f. is readily available. We choose those prerequisites carefully in order to retain most properties from the discrete and/or continuous case. The mathematical framework, this work is built upon, is the field of geometric measure theory. In particular, we make extensive use of the material found in [Fed69]. As it is the study of geometric properties of measures, and thereby closely related to probability theory as well, geometric measure theory proves fruitful for analyzing information theoretic properties of probability measures, when geometric restrictions are imposed. We consider a random variable X on Euclidean space. The distribution (i.e. the induced measure) of X is required to be absolutely continuous with respect to the m-dimensional Hausdorff measure and to be concentrated on an m-dimensional rectifiable set E, i.e., the complement of E is a set of measure zero. Under these conditions we obtain expressions for the entropy h(X) and develop the mutual information I(X;Y) for two random variables when the combined random variable (X,Y) satisfies similar constraints. We give integral expressions for these quantities and show how to manipulate them using results from geometric measure theory. Another central result is the proof of the relation I(X;Y) = h(X) + h(Y) - h(X,Y) between mutual information and entropy for our newly introduced definitions. This work is intended as a theoretical starting point for further investigations. Possible applications are, e.g., the information theoretic treatment of sparse sources in source coding or of the vector interference channel in channel coding. In both examples singular distributions on "smooth" lower-dimensional subsets play a pivotal role. While this work was conducted with applications in coding theory in mind, the presented framework is inherently measure theoretic and might, therefore, be applied in other areas as well.