Statistical methods in managing web performance

Abstract

In den letzten Jahrezenten ist das Internet zu einer ernormen Infrastruktur angewachsen, die Millionen von Menschen auf der Welt vernetzt. Die weite Verbreitung des Internets hat einzigartige wirtschaftliche Möglichkeiten eröffnet, welche jedoch auch mit überwältigenden Herausforderungen durch das drastische Wachstum und der immer steigenden Komplexität, vor allem in den letzten Jahren, verbunden sind. Die Herausforderung für Development und Operations ist trotz dieses Wachstums ein zuverlässiges und performantes Service bereitzustellen. Wenn es um Performance geht, haben Internetnutzer hoch Ansprüche an Online Services - aktuelle Forschung zeigt, dass Ladezeiten von zwei Sekunden oder weniger erwartet werden. Diese Erwartungen erhöhen den Druck auf Webapplikationen und Websites, da auch kleinste Änderungen in der Performance die Wahrnehmung einer Applikation drastisch beeinflussen. Wenn der Umsatz eines Unternehmens durch dessen Onlinepräsenz generiert wird, so korreliert mangelnde Performance direkt mit schlechten Verkaufszahlen und Markenwahrnehmung. Durch das zuvor erwähnte Wachstum hat sich die zugrunde liegende Infrastruktur des Internets von Single Server Systemen zu heterogenen, verteilten Systemen entwickelt. Die resultierende Performance des Gesamtsystems hängt somit von diversen Faktoren in verschiedenen Ebenen der Serversysteme und Netzwerke ab, welche die Bereitstellung einer zufriedenstellenden Servicequalität eine Herausforderung in Large Scale Internet Applikationen macht. In dieser Arbeit werden statistische Methoden vorgestellt, die sich mit dem Management von Web Performance Problemen auseinandersetzen. Die ordentliche Verwaltung von Performance hängt mit der zeitnahen Überwachung und Analyse der zugrunde liegenden Systeme zusammen. Statistische Changepoint Analyse und explorative, visuelle Verfahren werden auf Performance Daten angewandt, die durch synthethisches Monitoring innerhalb einer Simulation bezogen werden. Es wird gezeigt und diskutiert wie Performance Probleme durch diese Methoden erkannt werden können. Web Performance Benchmarking von Wettbewerbern wird im zweiten Teil der Arbeit als Methode diskutiert um ein Performance Ziel zu definieren. Es wird eine allgemeine Methode zu Web Performance Benchmarking vorgestellt, welche auf statistische Analyse von über Zeit hinweg gemessenen Daten von Produktionssystemen basiert. Das präsentierte Vorgehen wird schließlich in einer Case Study angewandt, bei der Performance von Suchmaschinenanbietern verglichen wird.

Over the past few decades, the internet has grown to an enormous infrastructure connecting millions of people world-wide. The large scale of the internet has offered unique economic opportunities by enabling the ability to reach a tremendous, global user base for businesses and individuals alike. The great success and opportunities also open up overwhelming challenges due to the drastic growth and increasing complexity of the internet in the last decade. The main challenge for development and operations is to provide reliable and fast service, despite of fast growth in both traffic and frequency of requests. When it comes to speed, internet users have high demands on the performance of online services. Recent research has shown that 47% of online consumers expect load times of two seconds or less. This puts high pressure on web ap- plications and websites in terms of performance and reliability, when even minor changes in performance can have significant effects on how users perceive an application and decide whether or not to continue with their interaction. If the revenue of a business is generated through their online presence, performance directly correlates with loss of sales, and damage of brand perception. With the growth of the internet and its user base, the underlying infrastructure has drastically transformed from single server systems to heterogeneous, distributed systems. Thus, the end performance depends on diverse factors in different levels of server systems, networks and infrastructure, which makes providing a satisfying end-user experience and QoS a challenge for large scale internet applications. In this thesis, statistical methods are applied to deal with the management of web performance issues. In order to properly manage performance, the timely observation and analysis of performance degradation is of key importance. Statistical changepoint analysis and exploratory visual analysis are applied to results obtained through synthetic monitoring of a simulation system to identify and discuss how performance issues in web applications can be detected. Web Performance Benchmarking of competitors is discussed as a way to establish a baseline for an overall performance goal. A general methodology for web performance benchmarking is developed based on statistical analysis of finite collections of observed data from production systems. The presented approach is then applied in a case study for benchmarking search engine providers.