Motivations and challenges in designing a distributed log management framework

Abstract

Since the beginning of computer technology many methods for logging status, error and debugging information were introduced. The range spans from simple printing of text messages on the terminal to sophisticated logging systems using database backends on distributed servers.<br />However due to different implementation approaches many of these systems use proprietary protocols for transferring messages between the concerned systems.<br />Especially in heterogeneous systems this incompatibility leads to serious problems when a centralized logging of all system information is desired.<br />This work introduces the basics of logging and log management and presents guidelines for designing advanced system architectures, capable of managing and processing large amounts of logged data. After analyzing existing logging implementations and discussing their advantages and downsides, the system design of the "XMPP Log Management Framework", a novel approach for log management will be presented and elaborated by a prototype implementation of a Java based administrative logging console using an extended XMPP instant messaging protocol for message transfer. Based on log4j and extending its highly modular architecture, the framework is able to integrate with legacy systems as well as existing system management environments while allowing standardized and secure configuration and monitoring access through commonly used instant messengers.<br />Furthermore, possible future trends in the field of log management are outlined by evaluating the benefits of using advanced event processing algorithms in log management systems. Particularly the integration of logging into event-triggered architectures, in order to provide an embedded logging solution for loosely coupled systems as well as the importance of logging in systems administration will be discussed.<br />

Seit den Anfängen der computerunterstützten Datenverarbeitung wurden zahlreiche Technologien zu Protokollierung von Status- und Fehlermeldungen eingeführt.<br />Die Spanne reicht hierbei von der simplen Ausgabe relevanter Meldungen auf die Konsole bis hin zu umfangreichen Logging-Systemen, die auf Datenbanken und verteilten Systemen aufbauen.<br />Aufgrund unterschiedlicher Ansätze zur Implementierung solcher Systeme wurden meist verschiedene proprietäre Protokolle zur Übertragung von Log-Nachrichten verwendet. Speziell in heterogenen Umgebungen entstehen durch diese Inkompatibilitäten zwischen den Systemen umfangreiche Probleme - vor allem wenn eine zentrale Protokollierung aller anfallenden Meldungen erwünscht ist.<br />Im Rahmen dieser Diplomarbeit soll eine Einführung in die Thematik des Loggings und in dessen Management gegeben werden, sowie Richtlinien und Beispiele für den Aufbau von Systemen, welche die Verarbeitung und Verwaltung grosser Mengen solcher Daten ermöglichen, diskutiert werden.<br />Im nächsten Schritt werden die Vor- und Nachteile von bestehenden Log-Management Systemen aufgezeigt und mit dem "XMPP Log Management Framework" ein neuer Ansatz präsentiert, der auf log4j und dem Instant-Messaging-Protokoll XMPP basiert.<br />Mittels einer prototypischen Teilimplementierung des vorgeschlagenen Systems - einer Java-basierten Administrations-Konsole, welche eine Erweiterung des Instant-Messaging Protokolls XMPP für den Transport von Steuer- und Log-Meldungen verwendet - soll das Konzept evaluiert werden. Durch Einsatz des standardisierten Protokolls XMPP soll aufgezeigt werden, wie durch das vorgestellte Framework und die Möglichkeit, einen beliebigen Instant-Messenger für den sicheren Zugriff auf Logging-Daten und deren Verwaltung zu verwenden, Probleme und Unzulänglichkeiten von existierenden Systemem vermieden werden können.<br />Die Integration dieses Systems in bestehende Umgebungen wird durch eine Erweiterung der log4j-Plattform, sowie durch die Integration in das JMX-Framework umgesetzt.<br />Weiters sollen mögliche zukünftige Entwicklungen im Bereich des Loggings, wie zum Beispiel die Kombination mit "event processing"-Algorithmen aufgezeigt werden.<br />Durch die Einbindung von Logging-Systemen in ereignisgesteuerten Umgebungen soll aufgezeigt werden, wie solche lose gekoppelten Systeme von einer integrierten Datenprotokollierung profitieren können. Weiters wird auf die Bedeutung der Datenprotokollierung in der System-Administration hingewiesen.