Sum-product-networks for efficient probabilistic inference

Abstract

Sum-Product Networks (SPNs) sind ein kürzlich vorgeschlagenes probabilistisches graphisches Modell (PGM). Im Gegensatz zu vielen anderen PGMs können jedoch viele Inferenzaufgaben mithilfe von SPNs effizient gelöst werden. SPNs werden in der Regel aus Daten gelernt, wodurch SPNs in den weiteren Bereich des maschinellen Lernens einbezogen werden. Zu den effizient lösbaren Inferenzaufgaben, die ein SPN durchführen kann, gehören die Evaluierung von Randverteilungen und bedingten Verteilungen, die Berechnung des minimum mean square error (MMSE) Schätzers und der Varianz, sowie das Ziehen von bedingten Realisierungen von der gelernten Verteilung. SPNs sind interessant, da, sobald das Netzwerk einmal gelernt ist, viele verschiedene Inferenzaufgaben beantwortet werden können, die auf verschiedenen Eingaben basieren. Dies steht im Gegensatz zu vielen anderen traditionellen maschinellen Lernmodellen, wie z.B. tiefe neuronale Netzwerke (NNs), bei denen ein neues Netzwerk trainiert werden muss, wenn sich die Aufgabe ändert, z.B. von Klassifizierung zu Regression. SPNs sind daher ein interessantes Thema, und die wachsende Anzahl von Publikationen zeigt ein zunehmendes Interesse. In dieser Masterarbeit wird präsentiert, wie Inferenz mit verallgemeinerten SPNs funktioniert und wie Struktur und Parameter des Netzwerks sowohl offline als auch online aus Trainingsdaten gelernt werden können. Am Ende werden einige experimentelle Ergebnisse präsentiert, die auf öffentlich verfügbaren Datensätzen und selbst durchgeführten LTE-Datenratenmessungen basieren.

Sum-product networks (SPNs) are a recently proposed probabilistic graphical model (PGM). Unlike many other PGMs however, many inference tasks are tractable using SPNs. SPNs are typically learned from data, which puts SPNs in the wider field of machine learning. The tractable inference tasks an SPN can perform include the evaluation of marginal and conditional distributions, the computation of the minimum mean square error (MMSE) estimate and variance, as well as conditional sampling. SPNs are interesting because once the network is learned, many different inference tasks, conditioned on different inputs, can be performed. This is in contrast to many other traditional machine learning models like e.g., deep neural networks (NNs), where a new network needs to be trained if the task changes e.g., from classification to regression. SPNs are therefore an interesting topic to study, and the growing number of publications indicates an increasing interest. In this masters thesis, it is discussed how inference with generalized SPNs works and how the structure and parameters of the network can be learned from data, in both an offline and an online manner. At the end some experimental results are presented, based on publicly available datasets and self conducted 4th generation wireless (LTE) datarate measurements.