Network alertness : towards an adaptive, collaborating intrusion detection system

Abstract

This dissertation introduces the concept of Network Alertness, a novel approach to perform adaptive, collaborating intrusion detection. The detection process itself is realized by collaborating nodes that correlate and assemble the pieces of evidence, which are scattered over many hosts in the victim's network, into a single and coherent picture of ongoing attacks. The information of emerging threats is then fed back into the system and utilized to selectively adapt to data from suspicious sources. The main focus of the proposed design is the protection of huge enterprise networks against coordinated attacks. As the activity of cyber-criminals has risen dramatically in the past few years, virtually any organization faces an increasing threat to one of its most valuable assets, namely its network and the attached resources.Current systems fall short in dealing with the immense data volume that is produced by the sensors that are deployed in these large network installations. Dedicated nodes such as centralized processors become vulnerable to faults or targeted denial-of-service attempts and often represent performance bottlenecks. Our approach is based on a distributed framework that enables nodes to collaborate in a point-to-point fashion to identify emerging hostile patterns. The consequential decentralized algorithm to find events that satisfy such patterns was implemented and exhibits superior scalability and fault tolerant properties when compared to existing solutions. This is achieved by restricting the detection to only those hosts that witness actual parts of the attack. The contribution of this dissertation is the creation of a framework that enables nodes to gain knowledge of intrusive behavior in large networks. This knowledge gaining process is realized in a peer-to-peer fashion to solve the problem of managing the massive data volume produced in such network installations. The information extracted by this process is not only used to send alerts to a system administrator but also to modify the detection process itself and adapt it to currently evolving scenarios.

Die vorliegende Dissertation beschaeftigt sich mit Network Alertness, einem neuartigen Ansatz für anpassungsfaehige, kooperative Intrusion Detection (Erkennen von Eindringlingen in einem Netzwerk). Der eigentliche Erkennungsprozess wird von kooperierenden Rechnern durchgeführt, die aus den verstreuten Einzelteilen ein einziges, zusammenhaengendes Bild der gerade stattfindenden Angriffe ermitteln. Die Information ueber diese Angriffe wird dann dazu benuetzt, den eigentlichen Erkennungsvorgang zu verbessern, indem Daten von verdaechtigen Quellen besonders genau analysiert werden. Das Hauptaugenmerk des Designs liegt auf der Verteidigung von grossen Unternehmensnetzen. Nachdem die Aktivitaet von Hackern und Kriminellen im Internet in den letzten Jahren stark zugenommen hat, muss sich praktisch jedes Unternehmen der Bedrohung stellen, die diese auf eines der wichtigsten Unternehmensgueter ausueben, naemlich der Bedrohung des eigenen Netzwerks und der daran angeschlossenen Ressourcen. Gaengige Intrusion Detection Systeme sind dieser Aufgabe nicht gewachsen, da sie mit dem enormen Datenaufkommen nicht fertig werden, das von den Sensoren in solchen Netzen produziert wird. Spezielle Knoten, deren einzige Aufgabe die Analyse der ankommenden Information ist (so wie zentrale Rechner), sind anfaellig für Fehler und gezielte Angriffe. Ausserdem begrenzen sie, weil sie leicht ueberlastet werden koennen, die Skalierbarkeit des Systems. Unser Ansatz basiert auf einem verteilten Design, wo gleichberechtigte Knoten miteinander kooperieren, um auftretende Angriffe zu erkennen. Das erlaubte uns die effiziente Entwicklung eines verteilten Suchalgorithmus, der gefaehrlichen Muster finden kann. Durch die Einschraenkung des Identifikationsprozesses auf jene Knoten, wo die eigentlichen Indizien gefunden werden, und jeglichen Verzicht auf zentrale Stellen, war es moeglich, eine Loesung zu entwickeln, die den gaengigen Systemen in Bezug auf Skalierbarkeit und Fehlertoleranz ueberlegen ist. Der Beitrag dieser Dissertation ist die Entwicklung eines Konzepts und dessen Realisierung, welches es verteilten Knoten in einem Netzwerk erlaubt, effizient Eindringlinge zu entdecken. Der verwendete Algorithmus ist als peer-to-peer Prozess gestaltet, der es ermoeglicht, die riesigen Datenmengen zu untersuchen, welche in grossen Netzen entstehen. Zusaetzlich erlaubt es unser Ansatz auch, die gewonnene Erkenntnis nicht nur als Alarm an einen Administrator zu schicken, sondern auch den Erkennungsprozess selbst an sich entwickelnde Gefahrenszenarien anzupassen.