Quality of experience (QoE) estimation for mobile data networks through mobile measurements

Abstract

Die Popularitaet von Mobilfunknetzen ist in den letzten Jahren rasch gestiegen und ihre Technologien haben auch Datendienste auf mobile Geraete gebracht. Diese sind für unterschiedliche Anwendungen eingesetzt, wobei jede davon andere Anforderungen an gute Qualitaet hat. Bandbreite und verwandte numerische Werte wie Ping koennen bereits mit bestehenden Tools ermittelt werden, wobei die Wahrnehmung der Dienstqualitaet anhand der gemessenen Daten interpretiert werden muss und im jetzigen Stand der Technologie nicht ohne Feedback von Benutzern geschaetzt werden kann. Es gibt Studien, die die Verbindung zwischen dem Feedback von Benutzern und unterschiedlichen Netzwerkmerkmalen untersuchen, wobei subjektive Bewertungen über die wahrgenommene Qualitaet von teilnehmenden Benutzern gesammelt werden. Um die subjektiv wahrgenommene Qualitaet des gerade konsumierten Dienstes durch den Benutzer zu messen, wurden bereits feedbackbasierte Tools entwickelt. Ohne Testpersonen kann aber mit automatisierten Tools anhand von gegebener Netzwerkqualitaet keine Aussage ueber die erwartete wahrgenommene Dienstqualitaet getroffen werden. Diese Masterarbeit untersucht Quality of Experience in umgekehrter Richtung: von gemessenen Daten zur subjektiven Wahrnehmung des entsprechenden Dienstes, wobei keine Testpersonen mehr in der Beurteilung notwendig sind. Die Berechnung basiert auf dem mathematischen Modell Deterministic Quality of eXperience (DQX). Dieses Verfahren konvergiert berechnete Wahrnehmung der Dienste gegen eine reale Bewertung des Benutzers. Ziel ist ein automatisiertes Softwaretool zu entwickeln, welches die Aussagen über die Wahrnehmungsqualitaet anhand von gemessenen Quality of Service-Werten treffen kann. Mobilfunknetze weisen groessere Abweichungen in der Verbindungsqualitaet auf, basierend auf Ort, Signalstoerungen, Zeit usw. Nichtsdestotrotz kann aber die wahrgenommene Qualitaet des konkreten Dienstes unveraendert bleiben. In dieser Masterarbeit wird die quantitative Quality of Service von Mobilfunknetzen um das qualitative Verfahren Quality of Experience erweitert, wobei Aussagen ueber die erwartete wahrgenommene Qualitaet ausgegeben werden - im Gegensatz zu rein numerischen (gemessenen) Quality of Service-Werten. Ort, Zeit, Mobilfunktechnologie, Quality of Service-Regelungen und andere Einflussfaktoren werden in der Interpretation beruecksichtigt. Das neue Verfahren, um Mobilfunknetze qualitativ zu beurteilen, wurde im Softwaretool BonaFide+ Provider implementiert und fuer Messungen eingesetzt. Basierend auf diesem Verfahren wurde eine neue Sicht auf Netzwerkmessungen vorgestellt, welche automatisiert die von Benutzern erwartete Wahrnehmung der Dienstqualitaet berechnen kann.

Mobile networks became popular over the last years and technology enabled data delivery to mobile devices. Mobile data is nowadays used for different applications where each of them has different requirements for a good quality. Bandwidth and related numeric values such as ping can be measured by available tools, however a statement about the expected service quality under measured network conditions is interpreted for each type of service independently and currently requires users for providing feedback about the experienced quality. Today there are studies which try to find connections between the feedback of users on consumed service and different network conditions, which is evaluated by subjective ratings of participating users. To measure the subjectively perceived quality of consumed services, tools based on user-feedback have been introduced. But currently, no statement about the experienced quality can be provided by these tools without involving users. This master thesis explores the Quality of Experience field in a reverse direction: from measured data into the subjective perception of quality of a particular service, where no users are involved in creating the statement and where pure mathematical computation based on the Deterministic Quality of eXperience (DQX) model is applied. This approach tries to converge computed perception to the real expected rating of a user. As a result, an automated software tool will be able to make statements about the Quality of Experience at given network conditions. Mobile networks show high connection quality fluctuation. Based on location, signal disturbance, daytime etc. network connections may perform differently. However, based on the network quality interpretation, the experienced quality can stay the same. In this thesis the quantitative Quality of Service for mobile networks is extended to qualitative approach called Quality of Experience, where statements about the quality of a particular service will be made instead of providing numerical values about the current connection quality. Location, daytime, mobile network technology, Quality of Service regulations and other influence factors will be evaluated as well. To demonstrate the proposed approach, a software tool for Quality of Experience estimation called BonaFide+ Provider was implemented and evaluated. Based on the evaluation a completely new view on network measurements was created, where the tool can tell how a particular service will be perceived by users under given measured conditions.