Relational Database Preservation

Abstract

Sicherzustellen, dass relationale Datenbanken langfristig erhalten bleiben und reproduzierbar sind, stellt für Organisationen, die auf historische, überprüfbare und semantisch konsistente Daten angewiesen sind, eine große Herausforderung dar.Diese Masterarbeit begegnet dieser Herausforderung durch die Erweiterung des Forschungsdatenmanagementsystems DBRepo um einen standardisierten, SIARD-basierten (Software Independent Archiving of Relational Databases) Archivierungs- und Wiederherstellungsworkflow, der sich am OAIS-Referenzmodell (Open Archival Information System) orientiert.Eine mehrstufige Pipeline wurde implementiert, um relationale Daten inklusive systemversionierter Tabellen und Sequenzmetadaten zu extrahieren.Der Prozess automatisiert die Erstellung eines Submission Information Package (SIP), die Konvertierung in ein SIARD-basiertes Archival Information Package (AIP) sowie die anschließende Wiederherstellung als Dissemination Information Package (DIP) in verschiedene relationale Datenbanksysteme (MariaDB, MySQL, PostgreSQL, und Microsoft SQL Server).Im zweiten Teil der Arbeit werden die Korrektheit und Reproduzierbarkeit von Abfragen über diese wiederhergestellten Umgebungen hinweg untersucht.Ein automatisiertes Evaluationsframework berechnet Query-Hashes und Result-Hashes mittels SHA-256, schreibt zeitabhängige Abfragen mit expliziten Gültigkeitsintervallen um und übersetzt sie zwischen verschiedenen SQL-Dialekten mithilfe eines eingebetteten SQLGlot-Dienstes.Die durchgeführten Versuche mit unterschiedlich großen Datensätzen messen sowohl die inhaltliche Konsistenz als auch die Performanz.Die Ergebnisse zeigen, dass der erweiterte Workflow erfolgreich die Schemasemantik, die systemversionierte Historie und die Abfrageergebnisse über verschiedene Datenbankplattformen hinweg bewahrt – und damit belegt, dass SIARD-basierte Datenbankarchivierung operativ in moderne, containerisierte Forschungsdatenmanagementsysteme wie DBRepo integriert werden kann.

Ensuring the long-term preservation and reproducibility of relational databases presents major challenges for organizations that rely on historical, auditable, and semantically consistent data.This thesis addresses these challenges by proposing a standardized SIARD-based (Software Independent Archiving of Relational Databases) archival and restoration workflow in the context of DBRepo, following the OAIS (Open Archival Information System) reference model.A pipeline was implemented to extract relational data, including system-versioned tables and sequences.The process automates the generation of the Submission Information Package (SIP), the transformation into a SIARD based Archival Information Package (AIP), and subsequent restoration as a Dissemination Information Package (DIP) into different relational database systems (MariaDB, MySQL, PostgreSQL, and Microsoft SQL Server).In the second part of the thesis, query correctness and reproducibility across the different systems is evaluated.The evaluation framework computes query and result hash values using SHA-256, rewrites temporal queries with validity windows, and translates them across SQL dialects using an embedded service (SQLGlot).Experiments were performed with variable-sized datasets to measure both content-wise consistency and performance.Results demonstrate that the extended workflow successfully preserves schema semantics, system-versioned history, and query results across different RDBMS platforms — thus proving that SIARD-based database preservation can be operationally integrated into modern, containerized research data management systems such as DBRepo.