Virtualizing communications for hybrid and diversity-aware collective adaptive systems

Abstract

Hybrid and Diversity-Aware Collective Adaptive Systems (HDA-CAS) bilden eine umfassende Klasse von hochgradig verteilten Systemen, die aus einer Vielzahl von heterogenen Computing (Service) Units, basierend auf Menschen oder Maschinen, bestehen. Diese Service Units erledigen Aufgaben sowohl selbständig, als auch in Kooperation mit anderen Service Units um komplexe Probleme zu lösen. Daher interagieren und arbeiten sie in der Regel in einer Ad-hoc-Weise zusammen. Diese Service Units bilden dynamische adaptive Kollektive (so genannte 'Collectives'), die einem ständigen Wandel unterworfen sind. Wann immer möglich, ist es den Collectives erlaubt, sich selbst zu orchestrieren und vertraute Tools und Umgebungen für die Zusammenarbeit zu nutzen. Durch ihre Flexibilität sind diese Collectives für die Verarbeitung aufwendige Aufgaben geeignet. Jedoch ist der Aufbau eines Systems, das verschiedenen Arten von Kommunikationstypen in einem solchen Collective erlaubt, eine Herausforderung, weil sich die Art und Weise, wie menschliche und maschinelle Service Units kommunizieren, grundlegend unterscheidet. Um beide Arten in eime hybriden System nutzen zu können, muss die Kommunikation mit diesen virtualisiert werden und unabhängig des tatsächlichen Typs behandelt werden. Dies erlaubt eine einheltliche Kommunikation zwischen der HDA-CAS Platform und den individuellen Service Units. In dieser Diplomarbeit werden die grundlegenden Herausforderungen der Kommunikation in HDA-CAS besprochen und Anforderungen und Eigenschaften der Kommunikation in einem HDA-CAS formuliert. Diese Arbeit diskutiert diese Probleme und stellt ein Konzept vor, wie die Kommunikation mit den Service Units und Collectives virtualisiert werden kann. Daher wird der Begriff der Service Units erweitert und das Konzept der Communication Adapters wird diskutiert. Darüber hinaus stellt diese Arbeit eine Middleware vor, die die Konzepte für die Virtualisierung der Kommunikation zwischen und innerhalb der Collectives und Service Units verwendet. Die Middleware ist in der Lage, zahlreiche menschlichen und maschinelle Service Units und Collective transparent für den Programmierer zu behandeln. Eine Prototyp-Implementierung für die Validierung und Bewertung des Designs wird ebenfalls vorgestellt.

Hybrid and Diversity-Aware Collective Adaptive Systems (HDA-CAS) form a broad class of highly distributed systems comprising a number of heterogeneous human-based and machine-based computing (service) units. These units are required to perform tasks on their own and in cooperation with other units to solve complex problems. Therefore, they typically interact and collaborate in an ad-hoc manner. These units form dynamic adaptive collectives, which are subject to constant change. Whenever possible, the collectives are allowed to self-orchestrate, using familiar collaboration tools and environments. The flexibility of these collectives makes them suitable for processing elaborate tasks. At the same time, building a system to support diverse types of communication types in such collectives is challenging, because the way how human- and machine-based units communicate differ fundamentally. To be able to use both in a hybrid system, the actual way of communication between the units has to be virtualized and handled in the system independent of the actual type of the communication participants allowing for a uniform communication between applications of the HDA-CAS platform and individual service units. In this thesis, the fundamental communication challenges for HDA-CAS are addressed and requirements, and properties of communication in a HDA-CAS are formulated. This thesis discusses these problems and presents a concept of how to virtualize the communication with service units and collectives. Therefore, the notion of service units is extended and the concept of communication adapters is discussed. Furthermore, this thesis presents a design of a middleware which uses the concepts for virtualizing the communication between, within and among collectives and service units. The middleware is able to handle numerous, intermittently available, human and machine-based service units, and manage the notion of collectivity transparently to the programmer. A prototype implementation for validation and evaluation purposes is also provided.