Simulating the effects of migration policies on digital repositories

Abstract

Die Planung und der Betrieb eines digitalen Repositories ist ein aufwändiges und komplexes Vorhaben. Insbesondere die Abschätzung der langfristig benötigten Systemressourcen (Speicherkapazität und Rechenleistung) ist ein schwieriges Unterfangen. Die Haltbarkeit der verwendeten Dateiformate erzwingt über den Jahrzehnte langen Betrieb immer wieder Migrationen in neuere Dateiformate, was abhängig von den verwendeten Werkzeugen einerseits entsprechend Rechenleistung benötigt, andererseits steigt damit auch der Speicherverbrauch, weil nach der Migration die Datei sowohl in der alten als auch in der neuen Version vorhanden ist. In dieser Arbeit wird ein Simulator vorgestellt, der dabei hilft diese langfristigen Entwicklungen abzuschätzen. Es ist damit möglich den Archivinhalt und die notwendigen Migrationsvorgänge zu beschreiben und darauf aufbauend eine Simulation über einen beliebig langen Zeitraum durchzuführen. Im Anschluss werden Statistiken und Diagramme erzeugt um die Ergebnisse zu analysieren und mit ähnlichen Simulationen vergleichen zu können. Das Ziel ist ein Werkzeug bereitzustellen, mit dem ausgehend von einem bestimmten Archivinhalt verschiedene Szenarien mit unterschiedlichen Migrationsregeln und den dazugehörigen Migrationstools evaluiert werden können. Dabei soll analysiert werden wie sich unterschiedliche Regeln und Tools auf den Ressourcenbedarf des Archivs auswirken, speziell ob zu bestimmten Zeitpunkten unerwartet hohe Zuwächse entstehen. Die Verwendbarkeit wird anhand von Beispielsimulationen gezeigt. Dabei wird eine Konfiguration aufgebaut, die auf einem real existierenden Archiv basiert und mittels Zuhilfenahme der Formatregistry PRONOM erzeugt wird. Auf der Beispielkonfiguration wird die Verwendung von unterschiedlichen Regeln gezeigt und das Ergebnis der Simulation besprochen.

Planning and operating a digital repository is a laborious and complex project. Especially the estimation of system resources (storage space and processing power) is difficult. The stability of file formats (limited by the support period of software vendors) enforces multiple migrations to newer file formats over time, which leads to an increased need for storage space and processing power depending on the migration tools used. In this thesis a simulator is presented that helps to estimate the longterm development of digital repositories. It is possible to describe the content of the repository and the rules for the migration processes and simulate the scenario over an arbitrary time span. After the simulation statistics and diagrams can get generated for analysis and comparison of the result. The goal is to provide a tool that can evaluate different scenarios containing rules and tools for migrations based on a given repository configuration. It should be possible to analyze how different rules and tools impact the resource requirements of the archive, in particular whether there are unexpected resource peeks during the lifetime of the repository. The usage of the simulator is shown on a sample configuration build upon an existing repository. Therefore the structure of the repository is analyzed using the format registry PRONOM to build a configuration that matches the archive closely. With this sample configuration several migration scenarios are tested and evaluated using the generated diagrams.