Cost aware resource management in distributed cloud data centers

Abstract

Cloud Dienste haben in den letzten Jahren zunehmend an Popularität gewonnen wodurch die Energiekosten von Datenzentren signifikant stiegen. Da die Energiekosten einen bedeutenden Anteil an den Gesamtkosten eines Datenzentrums betragen ist es für Cloud Betreiber von großer Bedeutung diese auf ein Minimum zu reduzieren um wettbewerbsfähig zu bleiben und leistbare Cloud Dienste anbieten zu können. Diese Arbeit präsentiert ein Cloud Framework zur Evaluierung von Energiekosteneinsparungen mit Anbindung an unterschiedliche Elektrizitätsmärkte. Es wird gezeigt dass signifikante Kosteneinsparungen mit Hilfe von intelligenten Verteilungsmechanismen unter Berücksichtigung von Energiepreisvorhersagen möglich sind. Die Arbeit besteht aus zwei Teilen. Im ersten Teil werden unterschiedliche Vorhersagemodelle untersucht um die Qualität der Modelle bezüglich Energiepreisdaten unterschiedlicher Energiemärkte zu bestimmen. Ein Simulationsframework für Vorhersagemodelle wurde erstellt das die dynamische Evaluierung von Energiepreisdaten ermöglicht und in der Lage ist Vorhersagemodelle basierend auf diesen Daten zu erstellen. Das Framework stellt Methoden zur automatischen Modellgenerierung bereit das als Basis für weitere Simulationen dient. Zudem wird eine weitreichende Auswertung von Vorhersagen durchgeführt um Erkenntnisse über die Genauigkeit der Vorhersagen für eine größere Menge an Energiepreisdaten zu erhalten. Verschiedene Trainingsperioden, Vorhersagezeiträume und Auswahl an Energiedaten ergeben eine umfassende Analyse der Vorhersagemodelle. Im zweiten Teil werden Simulationen über größere Zeiträume hinweg durchgeführt mit unterschiedlichen Verteilungsalgorithmen und Szenarien. Ein bestehendes Simulationsframework wurde erweitert um Simulationen über größere Datenmengen von Energiepreisen durchzuführen wobei verschiedene Verteilungsmechanismen vorgestellt werden. Eine Nutzenfunktion wurde definiert die basierend auf unterschiedlichen Kriterien eine Entscheidungshilfe bereitstellt um die best geeignetsten virtuellen Maschinen für die Migration zu einem bestimmten Zeitpunkt zu ermitteln. Beispiele von Kriterien sind die Wahrscheinlichkeit von SLA Strafen und die maximal möglichen Kostenreduktionen die entsprechend gewichtet werden um einen Kompromiss zwischen der Kostenreduktion und den dadurch entstehenden SLA Strafen zu erreichen. Resultate zeigen dass erhebliche Kosteneinsparungen möglich sind unter Verwendung von Verteilungsmechanismen die unterschiedliche Kriterien und Energiepreisvorhersagen berücksichtigen. Basierend auf der simulierten Cloud Umgebung kann die Anwendbarkeit der vorgestellten Methode auf reale Umgebungen bestehend aus geographisch verteilten Datenzentren mit Anbindung an Energiemärkte gezeigt werden.

Cloud computing services experienced increasing popularity over the recent years which caused the power demand of data centers to increase significantly. As energy costs represent a significant part of the total cost of data centers energy cost reductions in cloud computing environments play an important role for cloud providers to remain competitive and provide affordable cloud services. This thesis introduces a cloud framework to evaluate energy cost reductions in multi electricity market environments. It is shown that substantial cost savings are possible using intelligent resource scheduling algorithms with integration of energy price forecasts. This thesis consists of two parts. In the first part different forecasting models are evaluated to assess the performance of the models for energy price time series of different energy markets. A forecast simulation framework is introduced capable of dynamically managing energy price data from different power markets and generating forecasts based on that data. The framework incorporates methods for automatic model generation and evaluation as a basis for extended forecast simulations. A large scale forecast evaluation is conducted to gain insights into model accuracy across a wide range of energy price data. Different training periods, forecast horizons and energy price datasets lead to a comprehensive evaluation of the forecasting models. The second part is dedicated to large scale cloud simulations comprising different cloud schedulers and scenarios. An existing cloud simulation framework has been extended to perform simulations across a wide range of energy price data where different scheduling mechanisms have been introduced. A utility function has been defined for sophisticated evaluation of different criteria to determine the most suitable VMs for migration at any point in time. Criteria involve probability of SLA penalties and maximum cost benefits to appropriately handle the tradeoff between minimizing costs and providing an adequate level of quality of service. Results show that significant cost savings are possible with schedulers incorporating different criteria and energy price forecasts which reveal promising results. Based on the defined cloud settings it illustrates the applicability of the proposed approach to real world scenarios of geo-distributed data centers connected to energy markets.