Comparison of different word embeddings and neural network types for sentiment analysis of German political speeches

Abstract

Der Stand der Technik in der natürlichen Sprachverarbeitung (NLP) wird von neuronalen Netzwerken dominiert. Diese Netzwerke verwenden Worteinbettungen, die insbesondere dazu geeignet sind, um Bedeutung und Beziehungen zwischen Worten darzustellen. Heutzutage sind vortrainierte Worteinbettungen nicht nur für Englisch, sondern auch in anderen Sprechen frei erhältlich. In dieser Arbeit wende ich diese Technologie auf die Stimmungsanalyse von österreichischen politischen Reden an. Dafür werden unterschiedliche deutsche Worteinbettungen in Kombination mit verschiedenen neuronalen Netzwerken untersucht. In umfangreichen Experimenten werden Klassifikatoren mit Sätzen aus stenografischen Protokollen, welche mit ihrem Grad an Negativität gekennzeichnet sind, trainiert und miteinander verglichen.

The state of the art technology in natural language processing (NLP) is dominated by neural networks. These networks use word embeddings for text representation which are particularly well suited for representing meaning and relation between words. As this technology moves forward, word embeddings are freely available for other languages than English. In this thesis I apply this technology to Austrian political speeches to compare their performance in a sentiment analysis task. I use dierent word embeddings for the German language and combine them with different neural network architectures. In exhaustive experiments classifiers are trained and validated with sentences from stenographic protocols labeled with their level of negativity.