Design and implementation of an autonomous, distributed RAID system with a XML meta definition language

Abstract

Paralleles und verteiltes I/O ist zur Zeit ein heißes Thema in der Wissenschaft. Bis jetzt wurden meistens proprietäre (herstellerbasierende) oder UNIX Techniken verwendet. Nun gibt es Anstrengungen für einen allgemeinen Ansatz für paralleles I/O im MPI/2 Entwurf, Kapitel 9. Dieser neuer, einheitlicher Ansatz erfordert vom Benutzer ein umfangreiches Wissen über die Zugriffsmuster.<br />Das Ziel dieser Arbeit ist die Präsentation von ADIOS, einer "client server" basierenden Implementation für verteiltes I/O mit Schnittstellen zu MPI/IO oder herkömmlichen UNIX System Aufrufen.<br />Die Betonung liegt auf den Design Ansätzen der Kern Systems.<br />Wir starten mit einer einleitenden Darstellung von parallel I/O, File Systemen, für Cluster verfügbare parallele und verteilte Systeme, setzen dann fort mit einer kurzen Beschreibung und Präsentation von ADIOS, seinen Ähnlichkeiten und Verschiedenheiten verglichen zu ROMIO, einer weit verbreiteten Implementation von MPI/IO und vergleichen auch mit PVFS. Dann konzentrieren wir auf das Hauptkapitel, der umfangreichen Darstellung des systemübergreifenden Designs. Den Abschluß bilden Leistungstests im Vergleich zu ROMIO und PVFS.<br />

Currently parallel and distributed I/O is a hot topic in science.<br />Until now most of the times proprietary (vendor) techniques or the Unix like semantics were used. Now there some efforts to generalize parallel I/O in the MPI/2 draft, chapter 9. This new generalized techniques assume a comprehensive knowledge of the access patterns by the users.<br />The aim of this work is to present ADIOS, a client server implementation of distributed I/O with interfaces to MPI/IO and native UNIX system calls. We want to emphasize on the overall design principles of the core system.<br />We will start with a introduction to parallel I/O, filesystems, available parallel and distributed I/O systems for clusters, continue with a short description and presentation of ADIOS, it´s similarities and its differences compared to ROMIO , a well known implementation of MPI/IO and also PVFS. Then we will focus on the main topic, the overall system design, which will be very comprehensive and finally we will close with some performance tests we ran compared to ROMIO and PVFS.