Application usage profiling and forecasting in shared cloud systems

Abstract

Diese Arbeit beschäftigt sich mit dem Problem des elastischen Skalierens von Cloud Resourcen. Cloud Anbieter stellen bedarfsorientiert Ressourcen für cloud Anwendungen bereit, deren Ressourcennutzung sich mit der Zeit variiert. Dies führt oft zu SLA Verletzungen auf der Applikationsebene, oder zum höheren Stromverbrauch durch das Bereitstellen von mehr physikalischen Ressourcen für die Cloud Anwendungen, als notwendig. Eine optimale Zuteilung von physikalischen Ressourcen ergibt einerseits QoS Stabilität. Anderseits, durch das Abschalten von ungenutzten Hardwareressourcen kann der Energieverbrauch in der Cloud signifikant reduziert werden, wodurch der Cloud Anbieter wettbewerbsfähiger wird. Wir beschreiben eine anpassungsfähige und skalierbare Infrastruktur für Cloud Anbieter. Diese ist in der Lage, Cloud Anwendungen zu überwachen, automatisch eine angemessene statistische Voraussagemethode zu wählen und basierend auf den vorausgesagten Daten die zugewiesenen Ressourcen in der Cloud zu optimieren. Der Beitrag dieser Arbeit besteht aus drei Teilen: (1) Es ist eine Studie durchgeführt worden, in der wir die verfügbaren vorhersage Werkzeuge und Methoden zur Zeitreihenanalyse identifiziert haben. (2) Wir haben ebenfalls ein flexibles und automatisches Klassifizierungsframework entwickelt, mit dem es möglich ist die beste Vorhersagemethode, basierend auf dem Trend, der Tageszeit und der statistischen Varianz zu identifizieren und auszuwählen. (3) In Rahmen dieser Arbeit wurde ein Cloud Simulator entwickelt, der es ermöglicht die verschiedenen Vorhersagemethoden zu vergleichen. Dies geschieht insbesondere mit Hinblick auf die Genauigkeit mit der SLA Verletzungen vorhergesagt werden können. Durch die Studie konnten wir einen hohen Anteil von tageszeitenabhängigen Cloud Anwendungen identifizieren. Aus diesem Grund beschäftigen wir uns in dieser Arbeit mit tageszeitabhängigen Vorhersagemethoden auf Basis der Fouriertransformation, Holt-Winter exponentieller Glättung und automatischer Regressionsanalyse in neuronalen Netzwerken, sowie STL Zerlegung. Mit der Hilfe der Cloud Simulator sind diese Vorhersagemethoden ausgewertet. Für die Simulation verwenden wir synthetische Lastdaten der Anwendungen mit wechselnden Werten für CPU, Speicher, Netzwerkbandbreiten und Festplatten I/O. Die Auswertung erfolgt durch Vergleich der Anzahl von richtig, falsch und falsch positiv identifizierten SLA Verletzungen. Im Verhältnis zu der Simulation werden außerdem weitere Aspekte wie Heuristik basierte Anwendungsmigration betrachtet, bei der die vorhergesagten Daten als Basis für Schedulingregeln dienen. Es kommt zu dem eine adaptive Fehlerkorrektur zum Einsatz. Das Ziel des Simulators ist es letztendlich die Interaktion von verschiedenen Ansätzen zu testen, sowie deren Auswirkungen auf die Cloud Auslastung und auf das Erkennen von SLA Verletzungen.

This thesis addresses the problem of elastic cloud resource scaling. Cloud providers have to offer on-demand resource provision for time varying workloads. This often leads to SLA violations on application level, or energy waste due to providing more physical resources for the hosted applications than needed. Providing always as much physical resources as needed, results in QoS stability for the hosted applications. Also, significant reduction of electricity consumption can be achieved by dynamically turning down unused resources. This makes the cloud providers more competitive. Thereby we describe an adaptive and scalable scheduling infrastructure. This monitors the cloud applications, selects automatically an appropriate statistical forecasting method. Then, based on the forecast values, optimizes the resource allocation in the cloud. The contribution of this thesis is three-fold: (1) It presents a detailed survey about the available forecasting and time series analysis tools. (2) It provides a flexible and automatic classification framework to choose the best fitting forecasting method, based on the features of the monitored traces, such as trend, seasonality, and variance. (3) In the course of the work, a cloud simulator is developed in order to compare different forecasting methods, how accurately they can predict SLA violations. During the work it was observed that a high proportion of cloud applications are exhibiting daily periodical fluctuations in terms of resource needs. Thus, we are focusing on seasonal forecasting, by applying the Fourier transformation based forecasting, the Holt-Winters exponential smoothing, the neural network autoregression, and the STL decomposition based forecasting. These seasonal forecasting tools are evaluated by using the implemented cloud simulator. For the test we use synthetically generated traces of applications with periodically fluctuating cpu, memory, network, and disk I/O usage. We compare the used forecasting methods by the number of correct, incorrect and false positive predictions of SLA violations. In relation to the simulation we discuss additional aspects, such as heuristic based target machine selection and migration, the usage of forecast values to create scheduling rules, and the adaptive error corrections. The ultimate aim of the simulator is to test the interaction of various approaches and the effect of those approaches on cloud utilization and on violation detection.