Specification and planning of grid workflows with multiple constraints

Abstract

Grid Computing stellt ein neuartiges Konzept dar, das durch die Benützung des Internet den weltweiten Zugriff auf diverse IT-Ressourcen ermöglicht, die in der Regel über verschiedene administrative Domänen verteilt sind. Ein spezieller Aspekt von Grid Computing ist die Bereitstellung von Hochleistungsrechnerressourcen und wissenschaftlichen Applikationen als Online-Dienste, die ortsunabhängig auf Abruf zur Verfügung gestellt werden können. Dabei werden die derzeitigen Trends für dienstorientierte IT-Architekturen (Service Oriented Architecture) berücksichtigt. Da Grid-Ressourcen üblicherweise nicht durch die Endbenutzer kontrolliert werden, gewinnt die Bereitstellung von Dienstgüten (Quality of Service - QoS) immer mehr an Bedeutung.<br />Komplexe wissenschaftliche Anwendungen basieren auf einer Vielzahl von Grid Services, die üblicherweise über verschiedene administrative Domänen verteilt sind. Lösungen für solche wissenschaftliche Probleme werden mit Hilfe von Grid Workflows dargestellt. Trotz umfangreicher Forschung für die Bereitstellung von Dienstgüten für autonome Grid Services und Geschäftsworkflows ist die Bereitstellung von Dienstgüten für Grid Workflows immer noch ein offenes Problem. Ziel dieser Dissertation ist die Erarbeitung eines Konzepts für die Spezifikation und Planung von Grid Workflows unter Berücksichtigung mehrfacher Einschränkungen in Bezug auf die Dienstgüte. Grid Workflows werden durch lange Ausführungzeiten charakterisiert. Für die Benutzer von Grid Workflows ist es daher wichtig zu wissen, zu welcher Zeit und zu welchem Preis die Ergebnisse der Workflow-Ausführung zur Verfügung stehen werden. Um die rechtlichen Auflagen und Sicherheitsbedingungen zu erfüllen, führen wir das Konzept der Ausführungslokalität ein. Lokalität der Ausführung ist von besonderer Bedeutung für Grid-basierte Applikationen im Bereich der Lebenswissenschaften. Der elektronische Transfer von medizinischen Daten verdeutlicht die Relevanz der Ausführungslokalität. Dabei müssen die rechtlichen Rahmenbedingungen der Länder übereinstimmen, zwischen denen die Daten transferiert werden. In dieser Dissertation entwickeln wir eine dienstorientierte und QoS-basierte Umgebung für Grid Workflows. Des Weiteren definieren wir eine XML-basierte Grid Workflow-Sprache (QoWL), die auf dem Standard der Web Service Business Process Execution Language (WSBPEL) beruht. QoWL ermöglicht die Spezifikation von Einschränkungen für die Zeit, den Preis und die Lokalität der Ausführung. Weiter ermöglicht QoWL die flexible Spezifizierung von QoS-Bedingungen auf der Workflow- und Sub-Workflow-Ebene einschließlich der Ebene eines einzelnen Arbeitsschrittes. Wir präsentieren Konzepte für die automatische Ressourcenselektion unter der Berücksichtigung der Bedingungen, die durch den Endbenutzer spezifiziert worden sind. Auf der Basis von UML definieren wir eine domänen-spezifische Sprache (Domain Specific Language), die eine intuitive Modellierung von QoS-basierten Grid Workflows ermöglicht.<br />Workflows werden mit Hilfe von QoWL spezifiziert und von der QoS-aware Grid Workflow Engine (QWE) ausgeführt. QWE beinhaltet eine Planungskomponente, welche die QoS-basierten Verhandlungen durchführt und die entsprechenden Services selektiert, sowie eine Ausführungskomponente, welche die dazugehörigen Services ausführt. QWE verhandelt mit mehreren Services und selektiert jene, welche die angegebenen Einschränkungen erfüllen. In Abhängigkeit vom Datenfluss können die Verhandlungen statisch vor der Workflow-Ausführung oder dynamisch während der Ausführung durchgeführt werden. Für die statische Planung verwenden wir die Lineare Integer Programmierung. Um die Effizienz der Workflow-Planung zu steigern, setzen wir eine neuartige Reduktionstechnik ein.<br />Wir erweitern den Teuta Editor, um den Prozess der Workflow-Spezifikation zu verbessern. Grid Workflows werden innerhalb des Teuta Editors graphisch durch die Verwendung von UML spezifiziert.<br />Teuta generiert aus dieser Repräsentation automatisch das entsprechende QoWL-Dokument, das als Input für QWE dient. Die Benutzer können innerhalb der präsentierten Umgebung Grid Workflows komponieren, verschiedene Einschränkungen zu dem gesamten Workflow oder den einzelnen Workflow-Schritten annotieren, sowie die Workflow-Ausführung starten und überwachen.<br />

Grid Computing is a novel computing paradigm enabling global sharing of diverse IT resources across different administration domains over the Internet. A special aspect of Grid Computing is the provision of High Performance Computing (HPC) resources and applications as services that may be accessed transparently and on-demand, reflecting the recent trends towards service-oriented computing. Grid resources are usually not under the control of end users and consequently Quality of Service (QoS) support for Grid services is of paramount importance. The increasing complexity of scientific applications demands the utilization of various Grid services, which are spread over multiple administration domains in order to solve complex scientific problems.<br />Solutions for such large-scale scientific problems may be expressed by means of a Grid workflow. Despite considerable effort invested in the development of QoS support for stand-alone Grid services and for business workflows, QoS support for Grid workflows is still an open issue.<br />The aim of this thesis is to devise a concept for specification and planning of Grid workflows with multiple QoS constraints. Grid workflows are characterized by long execution times and as a consequence, it is important for users to know the time, at which the results of the workflow execution will be available, and the corresponding price. In order to meet the security and legal requirements of Grid workflow applications we introduce the concept of location affinity. Location affinity is especially relevant for Grid-based life science applications, where legal conditions for electronic transfer of medical data may vary between different countries. In this thesis we propose an environment for service-oriented QoS-aware Grid workflows. We define an XML-based Grid Workflow Language (QoWL) relying on the emerging Web Service Business Process Execution Language (WSBPEL) standard, which enables the specification of time, price, and location affinity constraints. QoWL enables a flexible specification of QoS constraints for workflows at different levels including the workflow, sub-workflow, and task level. We present concepts for an automatic resource selection satisfying the constraints of the end user.<br />We define a Domain Specific Language for modeling QoS-aware Grid workflows based on the Unified Modeling Language (UML) standard enabling the user to create workflows in an intuitive way. Workflows are specified using QoWL and executed by the QoS-aware Grid Workflow Engine (QWE). QWE comprises a workflow planning component, which performs QoS negotiation and service selection, and a workflow execution component, which executes the workflow by invoking the corresponding services. The engine negotiates with multiple candidate Grid services to select appropriate services, which satisfy the specified QoS constraints. Depending on the meta data flow, the negotiation is either performed statically prior to executing the workflow or dynamically during workflow execution. For static workflow planning we utilize the Linear Integer Programming approach. For improving the efficiency of workflow planning, we introduce a novel QoS-aware workflow reduction technique. In order to streamline the process of workflow specification we extend the Teuta editor for QoWL. Within Teuta workflows are specified graphically by using UML. From this representation Teuta automatically generates the corresponding QoWL document, which serves as input for QWE. Within this environment end users can compose Grid workflows, assign QoS constraints to activities or to whole workflows as well as start and monitor the workflow execution.