Classification and monitoring of incidents in cloud-based big data analytics

Abstract

Cloud Computing bildet die Basis für hochgradig verteilte und ressourcen-intensiven Big Data Anwendungen. Deren Aufgabe ist es die von intelligenten Objekten, Multimedia, sozialen Medien, Forschung und Unternehmen erzeugten Datenmengen zu verarbeiten. Jeder in der Datenverarbeitung involvierte Akteur hat seine eigenen Methoden um Störungen zu verwalten. Diese isolierte Betrachtungsweise ist im Falle von Cloud-basierten Big Data Analyse Anwendungen hinderlich. Der Ausfall eines einzigen Elements der verteilten Anwendung hat Auswirkungen auf den gesamten Analyse Prozess. Das Ziel dieser Diplomarbeit ist es Grundlagen zu erarbeiten, die die Cloud-basierte Big Data Analyse Anwendung als Ganzes und unter Einbeziehung ihrer spezifischen Bedürfnisse betrachtet. Realisiert wird dieses Ziel durch die Durchführung einer Stakeholder Analyse inklusive der Identifikation von Rollen und Akteuren, der Identifikation und Beschreibung generischer Anwendungsfälle, einer Studie typischer Störungen, der Entwicklung einer Klassifikation von Cloud-basierten Big Data Analyse Störungen und dem Erfassen von Metriken, die für die Identifikation und Klassifizierung von Störungen benötigt werden. Wir haben eine generische Architektur eines Verwaltungssystems für Störungen entwickelt, die den unterschiedlichen Bedürfnissen von Cloud-basierten Big Data Analyse Anwendungen angepasst werden kann. Die Basis dieser Architektur bilden Stakeholder, Anwendungsfälle, Klassifikation und Softwarekomponentendiagramme. Merkmale bestehender Architekturen wurden erfasst und in den Kontext von Cloud-basierten Big Data Anwendungen übersetzt. Ein Prototyp samt Testszenario bewertet die Architektur und belegt deren Realisierbarkeit.

Cloud Computing delivers the resources for highly distributed and resource intensive Big Data applications that analyses the massive amount of data produced by multimedia, social media, operation of enterprises, trading of enterprises and scientific research. In the data transformation process various stakeholders add their knowledge and expertise. The problem is that each of them has its own methodologies and routines for incident management but none of them sees the process as a whole. A failure of single elements in the data transformation process can lead to a domino effect that impacts the whole process. This thesis aims to deliver groundwork regarding an incident management process by applying an end-to-end approach that considers the specific needs of Cloud-based Big Data analytics. We present a stakeholder analysis including roles and actors. We describe the necessary generic use cases that need to be implemented. An incident survey details the characteristics of incidents of Cloud-based Big Data analytics. We develop a classification of cloud hosted Big Data analytic incidents from the survey. Metrics are added to describe the important elements in the data transformation process. We introduce a generic architecture of an incident management system that can be adapted to the specific needs of Cloud-based Big Data analytics applications. By delivering common building blocks like stakeholders, use cases, classifications and software component diagrams, the essentials of existing architectures are captured and put into the perspective of the Cloud-based Big Data analytics application. We deliver a prototype for the evaluation of the architecture and we illustrate with a test scenario the viability of the generic architecture.