Scalable monitoring for energy efficient cloud environments

Abstract

Mit der Einführung des Internets in den frühen 70er Jahren kam es zu einer Wende in der zwischenmenschlichen Kommunikation. Das Internet wurde zum globalen Kommunikationsnetz, das den Austausch von Daten zwischen Netzwerkknoten ermöglichte, die zur Verarbeitung und Speicherung derselben verwendet werden. Mit der Verbreitung des Internets wuchs jedoch auch die Forderung nach mehr Rechenleistung und größerer Kapazität für die Datenspeicherung. Dies führte zu einer Verknappung der lokalen Infrastruktur, die letztendlich mit Cloud Computing abgelöst wurde. Heutzutage repräsentiert Cloud Computing ein weithin akzeptiertes Paradigma für die Bereitstellung von IT-Ressourcen und Speicherressourcen für Benutzer in Form von Onlinediensten. Doch angesichts der scheinbar unendlichen Kapazität und wachsenden Popularität der Clouds hat seine Infrastruktur große Proportionen erreicht, die das Cloudservice sehr anspruchsvoll zu verwalten gemacht haben. Neben der Bereitstellung von Dienstleistungen umfasst die Verwaltung von Cloud auch die Erarbeitung von Kompromissen zwischen Leistung und Energieeffizienz, deren Ursache die variable Last und das stetige Wachstum des Energieverbrauchs ist. Das wichtigste Instrument für die Optimierung dieser Kompromisse ist die Verwaltung selbst. Sie beinhaltet die Überwachung der Basisinfrastruktur, um Informationen zu sammeln, die für die Verbesserung der Energieeffizienz verwendet werden. Jedoch beinhaltet die Überwachung eine Sammlung großer Mengen von Daten aus einer ultra-scale Umgebung, was das Überwachungssystem selbst zu einem großen Energieverbraucher macht, wie auch zu einer Herausforderung für dessen Durchführung.

Außerdem erhöht die Menge an gesammelten Daten letztendlich nicht immer auch die Nützlichkeit von Informationen, diese man aus diesen heranziehen kann. Der Grund dafür ist das Rauschen und die Datenredundanz, wie auch das Fehlen von adäquaten Metriken für die Messung der Umgebungswerte. In dieser Dissertation schlagen wir ein neues, energieeffizientes Überwachungssystem vor, das mit der Cloud Umgebung skaliert und damit Werkzeuge zum Filtern und Analysieren von gesammelten Daten auf der Stelle ermöglicht. Außerdem präsentieren wir neue Metriken, die zum Analysieren von Nützlichkeit und Kompromissen von Cloudsystemen verwendet werden, einschließlich der Leistung, die der Nutzer erwartet. Schließlich demonstrieren wir die Nutzung des Überwachungssystem und Metriken innerhalb des Cloud-Systems, und bewerten unseren Beitrag im Vergleich mit derzeitigen Praktiken und Forschungsergebnissen. The introduction of the Internet in the early 1970s represented a major shift in the way people communicate. It provided a global communication network that allowed data to be exchanged between network nodes which performed computation on the data and stored it. However, with the growth of the Internet, requirements for more computational power and storage capacity grew as well. This made the local infrastructures insufficient, hence leading to the introduction of Cloud Computing. Today, the Cloud represents a well-established paradigm for providing computational and storage resources to remote users in form of online services. However, due to its seemingly infinite capacity and popularity growth, the Cloud-s underlying infrastructure reaches ultra-scale size, which makes Cloud services extremely challenging to manage. Moreover, along with service provisioning, Cloud management deals with the performance and energy efficiency trade-offs due to its variable workload and ever-growing energy consumption. The main instrument for tackling these trade-offs is management itself. It includes monitoring of the underlying infrastructure in order to obtain intelligence and utilizing it to improve energy efficiency. Monitoring however implies collecting enormous amounts of data from an ultrascale environment, which makes monitoring system itself a major energy consumer and a challenge to operate. Additionally, the volume of the collected monitoring data does not necessarily translate to useful information. The cause of this is data redundancy, noise within the data itself, and lack of adequate metrics for measuring environment values. In this thesis, we propose a novel energy efficient monitoring system that scales with a Cloud environment and provides instruments for filtering and analysing monitoring data on the spot. We also introduce novel metrics used for analysing benefits and trade-offs of Cloud environments, including the performance guarantees expected by a user. Finally, we demonstrate the usage of the monitoring system and metrics within the Cloud management system and evaluate our contributions by comparing them to the existing practices and research breakthroughs.