Design and implementation of a robust and modular system for monitoring and reporting of enterprise storage capacity

Abstract

Die schnell fortschreitende Technologisierung unserer Geschaeftswelt bringt viele Vorteile. Dokumente sind jederzeit und ueberall verfuegbar, Mitteilungen werden in Form von E-Mails in Sekundenschnelle an jeden Ort der Welt uebermittelt. Allgemein ausgedrueckt: Unterschiedlichste Arten von Informationen sind - in digitaler Form - zugaenglich. Zur Bereitstellung dieser Informationen wird jedoch Speicherplatz benoetigt, und durch das rasante Wachstum der digital verfuegbaren Informationen steigt auch der Bedarf an Speicherplatz. Hinzu kommt der sorglose Umgang mit den Daten, zum Beispiel durch das massenhafte Verschicken von Videos oder Praesentationen per E-Mail. Die durch diese Faktoren entstehende Notwendigkeit zur Bereitstellung immer hoeherer Kapazitaeten stellt mittlerweile eine erhebliche Herausforderung fuer die Informationstechnologie-Abteilungen vieler Unternehmen dar. Durch eine Vielzahl an beteiligten Systemen und Speicherorten ist es schwierig, einen Ueberblick ueber den gesamten Verbrauch zu behalten. Dieses Problem betrifft einerseits die Anwender, welche dadurch gar keine Moeglichkeit haben, auf ihren Verbrauch zu achten. Andererseits sind auch Administratoren durch die mangelnde Uebersicht ueber die aktuelle Situation und den bisherigen Verlauf eingeschraenkt. Dadurch werden die Kapazitaetsplanung, eine Aufschluesselung des Verbrauchs nach dem Verursachungsprinzip und auch die Argumentation erforderlicher Beschaffungen gegenueber dem hoeheren Management erschwert. Die vorliegende Arbeit versucht, diese Probleme zu adressieren. In einer Literaturrecherche wird zunaechst die Verwaltung von Daten ueber ihren Lebenszyklus in Form von Information Lifecycle Management (ILM) und E-Mail-Archivierung betrachtet. Weiters werden zwei Governance-Modelle, die Information Technology Infrastructure Library (ITIL) und die Control Objectives for IT and Related Technologies (COBIT), im Hinblick auf die Verwendung von Monitoring und die Verwaltung von Ressourcen betrachtet. Aus der Literaturrecherche werden Anforderungen abgeleitet und mit Erfahrungen aus einer Beispieldomaene ergaenzt. Anschliessend erfolgt die Implementierung und Evaluierung eines Prototypen gemaess der erhobenen Anforderungen. Der entwickelte Prototyp stellt ein modulares System zur Erfassung von Ressourcenverbrauch dar. Es kann durch Konfiguration, die Installation weiterer Komponenten sowie durch die Entwicklung neuer Abfragemodule beliebig erweitert werden. Der Prototyp fuegt sich problemlos in vorhandene Infrastrukturen ein, beispielsweise durch die Moeglichkeit zur Einbindung von vorhandenen Verzeichnis-Servern und Authentifizierungsmechanismen. Die Reporting-Komponente bietet Benutzern personalisierte Auswertungen ueber ihren Ressourcenverbrauch. Fuer Abteilungsleiter, Administratoren und IT-Verantwortliche koennen die Daten nach Benutzern oder Abteilungen zusammengefasst oder fuer das ganze Unternehmen aufbereitet werden. Die Komponente ist - wie auch das System zur Verbrauchserfassung - durch Module erweiterbar und über eine Administrations-Webseite konfigurierbar.

The increasing technologization of the business world yields many benefits. Documents are available anywhere and at any time, and messages in the form of emails can be sent across the globe in a matter of seconds. Simply put, various kinds of information are - in digital form - just accessible. However, providing information requires storage space, and through the ever growing amount of digital information, the demand for additional storage space increases as well. Careless use of the data further adds to the problem, for example, sending mass emails with videos or presentations. The resulting need to cope with the continuously increasing demand for capacity is posing a considerable challenge for the information technology (IT) departments of organizations. Because of the large number of involved systems and storage locations, keeping an overview of the overall consumption is hard. This problem concerns end users, which therefore lack the ability of watching their space usage. Administrators are impeded by the lack of overview of the current situation and the consumption evolution as well. Further, capacity planning, charging user departments for consumed IT services, and justifying budget for new hardware against the executive management become more difficult. This thesis tries to address these problems. In a literature research the management of data throughout its life cycle will be examined in the form of Information Lifecycle Management (ILM) and email archiving. Further, two governance models, the Information Technology Infrastructure Library (ITIL) and the Control Objectives for IT and Related Technologies (COBIT), will be explored with regard to their utilization of monitoring and reporting. Requirements will be derived from each of the topics of the literature research and complemented with experiences from a sample domain. Afterwards, a prototype will be implemented according to and validated against the found requirements. The developed prototype constitutes a modular system to monitor and record resource consumption. It can be extended extensively by configuration, the installation of new components and by implementing additional monitoring modules. The prototype integrates seamlessly into existing infrastructures, for example by providing the ability to interface with existing directory services and authentication mechanisms. The reporting component provides the end users with personalized reports of their resource consumption. For the use by managers, administrators and other parties in charge of IT, the data can be summarized by users and departments or the whole organization. Like the monitoring system, this component can be extended by additional modules and configured by an administration website.