Integration of heterogeneous software-intensive systems with rule-engine-based event correlation, analysis and generation

Abstract

Die Integration heterogener Systeme stellt eine große Herausforderung dar. Event-basierte Architekturen, die die Events zwischen solchen Systemen sammeln und umwandeln können, sind ein vielversprechender Ansatz dazu.<br />Analysten müssen große Mengen von Events aus solchen Systemen verarbeiten und relevante Muster darin erkennen können. Es gibt bereits Tools dafür, wie das Open Source Projekt Naiad, die Events aufgrund ihrer Attribute korrelieren und aggregieren können. Allerdings beschränkt sich die Korrelation in den meisten Fällen auf das Finden von identen Attributen, eine semantische Verarbeitung steht noch aus.<br />Letztere wäre aber ein Schlüsselfaktor um Geschäftsprozesse mit der Fülle an Events aus heterogenen und dynamischen IT Systemen sinnvoll zu verbinden.<br />Letztlich muss jeder praktikable Lösungsansatz auch entsprechend skalierbar sein, um eine gleichbleibend hohe Performance gewährleisten zu können.<br />Der Kern dieser Arbeit befasst sich mit der Frage, ob und wie eine konventionelle Rule Engine gemeinsam mit einem Tool zur Korrelation von Events genutzt werden kann, um die skalierbare und semantische Verarbeitung von Events zu ermöglichen.<br />Zuerst soll Naiad Rules, ein allgemeines Konzept für die regelbasierte, semantische Korrelation von Events vorgestellt werden. Ziele dieses Ansatzes sind die Austauschbarkeit der verwendeten Rule Engine, die Möglichkeit einer GUI gestützten Bedienung, maximale Skalierbarkeit und die Möglichkeit der Verteilung auf mehrere physikalische Systeme.<br />Dahingehende Probleme und deren Lösungen sollen ebenfalls präsentiert werden.<br />Danach soll gezeigt werden, wie gängige Patterns aus dem Bereich des Complex Event Processing mit diesem Konzept umgesetzt werden können, bzw. wo die Grenzen davon liegen.<br />Naiad, ein Tool zur Korrelation von Events, wird mithilfe einer Rule Engine erweitert, um das Konzept von Naiad Rules exemplarisch zu realisieren. Dabei soll das in Naiad implementierte SEDA (staged event-driven architecture) Design weitergeführt werden.<br />Zum Einsatz wird dabei die Open Source Rule Engine Drools kommen. Deren Integration mit den existierenden Komponenten von Naiad sowie dabei aufgetretene Probleme werden detailliert erläutert. Danach werden Engstellen und Lösungsansätze zu diesen diskutiert.<br />Schließlich sollen Resultate hinsichtlich der Performance und der Handhabung des Konzepts vorgestellt werden.<br />

The integration of heterogeneous systems, in particular legacy systems, is a major IT-challenge. Event-based architectures provide an approach to integrate systems by collecting and transforming the events exchanged between systems.<br />System integrators want to analyze the large number of events available from these systems to find meaningful patterns. There are tools for event analysis, like the open source tool Naiad, which help to correlate and aggregate event according to common event types and matching data fields. However, the correlation is typically limited to simple similarity matching, lacking support for semantic matching.<br />Correlation rules address this limitation and can provide better usability to a more extensive range of clients. The correlation approach needs to be scalable as the performance of event correlation can be a critical success factor of the business application.<br />This work investigates how a conventional rule engine can be used together with a tool for correlating events to provide scalable semantic event correlation for business process applications.<br />Naiad Rules, a general concept for rule based, semantic event correlation will be developed. The main goals of this concept are interchangeability of the underlying rule engine, the support of a GUI based configuration of rules, a maximum of scalability and the possibility to distribute rule processing to multiple systems at any time. Occurred problems and their solutions to achieve these goals will be discussed in detail.<br />It will then be shown how common patterns of complex event processing can be implemented with that concept. Limitations of it will be discussed and useful future enhancements to get rid of those limitations will be contemplated.<br />The design of the open source tool Naiad, a tool for correlating events, will be extended with standardized programming interfaces and configuration files to accommodate a rule engine that is compatible with the "staged event-driven architecture" (SEDA) paradigm of Naiad.<br />The design will be prototypically implemented as part of the open source project Naiad using the freely available rule engine Drools. The integration with the already existing parts of Naiad and some major problems with it will be discussed in detail. Then bottlenecks and possibilities to their avoidance will be presented.<br />Finally findings about performance and the ease of configurability will be presented.