A distributed computing environment for material sciences

Abstract

WIEN2k ist eine materialwissenschaftliche DFT Anwendung zur Berechnung der Elektronenstruktur von Festkörpern. Durch Parallelisierung kann ein Performance-Gewinn erzielt werden, gleichzeitig wird aber für den Anwender die Durchführung der Rechnung komplizierter, besonders wenn verschiedene Rechnerarchitekturen verwendet werden. Da die üblichen für solche Anforderungen verwendeten Lösungen für Anwender und Entwickler einen nicht zu unterschätzenden Mehraufwand mit sich bringen, wurde nach einer neuen Lösung gesucht, welche nur die allerwichtigsten Werkzeuge für verteiltes Rechnen bereitstellen soll, nämlich eine automatische Auswahl von Rechnern, Datentransfer, Start der Rechnung und deren Überwachung, ohne daß der Anwender in den Ablauf eingreifen muß. Zu diesem Zweck wurde W2GRID entwickelt.<br />Diese Perl basierte Middleware stellt nur geringe Anforderungen und bietet einen neuen Lösungsansatz, indem es alle wichtigen von der Rechnerarchitektur abhängigen Elemente vor der Anwendung verbirgt. W2GRID besteht aus mehreren voneinander unabhängigen Komponenten (plugins), die bei der Installation je nach Architektur ausgewählt und zusammengefügt werden. Um andere Betriebssysteme oder Cluster-Management Systeme zu unterstützen, müssen entsprechende Plugins geschrieben werden, das Interface zur Anwendung bleibt jedoch von beiden unabhängig und portierbar. Im Unterschied zu verbreiteter Middleware, die häufig auf Teile anderer Pakete aufbaut, kommt W2GRID ohne zusätzliche Software oder Bibliotheken aus und verwendet nur solche, die auf jedem Unix/Linux basiertem System standardmäßig vorhanden sind. Die vorgestellte Arbeit beschäftigt sich mit der Entwicklung von W2GRID und der Implementierung der Schnittstelle zu WIEN2k.<br />

WIEN2k is a material science application, which employs DFT to calculate the electronic structure of a given solid. Parallelisation speeds up the computations but increases the complexity, especially in heterogeneous and distributed environments. The majority of existing solutions for this problem come with an unfavourable overhead of requirements for users and developers, therefore the motivation of this work was to find novel solutions for the most basic features an application needs in a distributed computing environment, namely automated resource-selection, file-transfer, job-submission and its monitoring with little interference by the user. For this purpose W2GRID, a lightweight Perl-based middleware has been written. It represents a novel approach, since it separates all critical architecture dependent aspects from the scientific application and consists of independent components (plugins), which are combined during the installation. Support for new job-submission schemes or new operating systems can be added by developing new plugins, but the interface in between the application and W2GRID remains independent of both. In contrast to other middleware, which is built on top of high-level tools, W2GRID represents a standalone solution, which is free of third party dependencies and does not need tools or libraries other than those, which can be expected on any Unix/Linux based system. The presented work covers the design and implementation of the middleware as well as the development of the application plugin, which interacts with the complex workflows of WIEN2k.<br />The plugin is designed to promote the use of distributed computing in the growing WIEN2k user community.