Integrated DWH engineering - evaluation of vendor offerings and approaches

Abstract

DWH-Projekte sind meist groß und komplex, dementsprechend haben sie auch eine hohe Misserfolgsquote und sind sehr teuer. In der Entwicklung von DWH-Systemen, wird die Entwicklung der separaten Komponenten oft getrennt und teilweise manuell durchgeführt. Es gibt auch einen großen Mangel an Automatisierung der Aufgaben. Richtiges Anforderungsmanagement und entsprechende Mappings, d.h. die Zuordnung von Daten aus verteilten und heterogenen Quellen zu der richtigen Stelle in der DWH-Struktur, sind nur einige der großen Herausforderungen in dem DWH-Engineering. Um zuverlässige, genaue und einheitliche Informationen zu liefern und die semantische Bedeutung der Daten in DWH-Systemen zu erhalten, muss DWH Entwicklung integriert und von entsprechenden Tools unterstützt werden. Der Bedarf an einem zentralen Modell, eine Art Referenz für die Daten in allen Phasen ist unerläßlich. In dieser Diplomarbeit geben wir als erstes einen Überblick über DWH Grundlagen und aktuelle Ansätze. Danach stellen wir zwei neue erfolgsversprechende Ansätze vor: Semantic Business Information Model Based On Teradata's BDE Concept By Priebe et al. und MDA Approach in DWH Engineering von Trujillo et al .. Der erste Ansatz ist modellgetrieben. Der Lösungsvorschlag für die Probleme der semantischen Bedeutung, Rückverfolgbarkeit, Wiederverwendbarkeit und Harmonisierung ist ein semantisches Geschäftsmodell. Im zweiten Ansatz stellen sie ein integriertes, modellgetriebenes Framework kombiniert mit dem MDA Ansatz für das DWH-Engineering vor. Das Ziel dieser Diplomarbeit ist es Anbieter der Tools und Ansätze fü die oben erwähnten Probleme zu identifizieren und bewerten. Ausgewählt wurden drei Anbieter und ihre Tools: IBM - InfoSphere, Teradata - Products & Services, Kalido Dynamic Information Warehouse. Die Bewertungskriterien werden unter Berücksichtigung der in dieser Diplomarbeit identifizierten DWH Probleme erarbeitet. Die Toolsets werden bewertet und die Ergebnisse in dieser Diplomarbeit vorgestellt.

The goal of Data Warehouse (DWH) systems is to enable business analyses on integrated business data. DWH systems are a basic component of Business Intelligence (BI) systems and support performing analytical operations, like OLAP and Data Mining. In DWH systems, large amounts of data from multiple operational systems (OLTP) are integrated into a single data source. DWH projects are mostly large and complex, which are very expensive and prone to fail. In traditional development of DWH systems, the development of different components is done separately and to some extent manually. There is also a great lack of task automation.<br />Proper requirements management and proper source-target mapping, in other words mapping of data spread over heterogeneous sources to the right place in the DWH structure, are some of the great challenges in DWH engineering. In order to deliver reliable, accurate and consistent information and to avoid semantical disconnect of data in DWH systems, the DWH must be developed in an integrated manner and supported by the proper tools. The need for a central point of reference for data in all stages, that being some kind of semantical business model, is essential.<br />In this master thesis, after giving an overview of DWH basics and todays practices, we introduce two novel and promising approaches in DWH engineering: Semantic Business Information Model Based On Teradata's BDE Concept By Priebe et al. and MDA Approach in DWH Engineering by Trujillo et al.. The first approach is a model-driven approach addressing the semantical disconnect, traceability, reusability and harmonization issues in DWH, and proposes a semantic business information model as a solution. In the later, they represent an integrated model-driven framework aligned with MDA for overall DWH engineering. The goal of this master thesis is to look for vendors in the DWH engineering field which address the named issues and evaluate their tools and approaches. We look at three different vendors and their offerings: IBM - InfoSphere, Teradata - Products Services, KALIDO Dynamic Information Warehouse. The evaluation criteria is demonstrated considering the DWH issues defined in this master thesis . The toolsets of different vendors are evaluated ant their results are represented in this master thesis.