PET : a shiny-based quality assessment tool for a multi-compartment environmental database

Abstract

Das Management von Flussgebieten stützt sich zunehmend auf umfassende und harmonisierte Monitoringdaten, um evidenzbasierte Bewertungen und Entscheidungsprozesse zu ermöglichen. Die stetig wachsende Anzahl chemischer Substanzen aus industriellen und urbanen Quellen, deren Umweltverhalten und ökologische Auswirkungen häufig noch unzureichend verstanden sind, stellt dabei eine zentrale Herausforderung für den Gewässerschutz dar. Innerhalb der Europäischen Union verlangen die Wasserrahmenrichtlinie (2000/60/EG) sowie zugehörige Leitlinien von den Mitgliedstaaten die Erstellung integrierter Inventare von Emissionen, Einleitungen und Verlusten, wodurch der Bedarf an robusten, multikompartimentellen Umweltdatenbanken kontinuierlich steigt. Vor diesem Hintergrund wurde am Institut für Wassergüte und Ressourcenmanagement der Technischen Universität Wien im Rahmen zweier Interreg-Projekte gemeinsam mit internationalen Projektpartnern eine zentrale, multikompartimentelle Konzentrationsdatenbank entwickelt. Diese unterstützt nationale und transnationale Monitoring-, Modellierungs- und Managementaktivitäten im Donaueinzugsgebiet. Während sie von Projektpartnern aus Forschung und Verwaltung bereits auf transnationaler Ebene genutzt wird, ist ihre Implementierung auf nationaler Ebene noch nicht vollständig abgeschlossen. Die praktische Nutzung solcher komplexen Datenbankinfra-strukturen stellt jedoch eine Herausforderung dar, da Aufgaben wie Datenimport, -validierung und -exploration häufig fundierte Kenntnisse in Programmierung und Datenbankmanagement erfordern und damit die Zugänglichkeit für viele Fachexpert:innen einschränken. Ziel dieser Arbeit ist daher die Entwicklung und Evaluierung eines benutzerfreundlichen Softwarewerkzeugs, das die Interaktion mit umfangreichen Umweltdatenbanken erleichtert und gleichzeitig eine systematische Qualitätssicherung unterstützt. Zu diesem Zweck wurde das Pollution Evaluation Tool (PET) als R-Paket entwickelt und als Shiny-Applikation unter Verwendung des golem-Frameworks implementiert. PET stellt eine intuitive Benutzeroberfläche für Datenbanken bereit, die dem Tethys-Datenmodell folgen, und integriert sich in bestehende Authentifizierungsmechanismen sowie Datenbankrestriktionen. Der Funktionsumfang konzentriert sich auf strukturierte Workflows zur Qualitätssicherung, die Best-Practice-Verfahren zur Bewertung der Konsistenz und Vollständigkeit zentraler Datenbankentitäten wie Probenahmestellen, Proben, Messungen, Schadstoffe, Laboratorien und analytischer Methoden anwenden. Ergänzend bietet PET geführte Filtermechanismen, constraint-basierte Auswahl gültiger Metadaten sowie strukturierte Eingabeformulare für das Aktualisieren und Anlegen von Datenbankeinträgen, wodurch die direkte Interaktion mit dem Datenbank-Backend deutlich reduziert wird. Die Ergebnisse dieser Arbeit sind zweifach. Erstens wurde der Quality-Assessment-Modus als effizienter und robuster Proof of Concept umgesetzt, der technische Hürden bei der Datenbankinteraktion reduziert und einen konsistenteren sowie zuverlässigeren Workflow zur Bewertung der Datenqualität ermöglicht. Zweitens legt die Arbeit die konzeptionelle Grundlage für einen zukünftigen Management-Modus, der in weiteren Entwicklungsphasen implementiert werden soll. Durch die Verbesserung von Benutzerfreundlichkeit, Transparenz und Standardisierung trägt das Werkzeug zudem zur praktischen Umsetzung der FAIR-Datenprinzipien bei und unterstützt die effektive Nutzung wachsender umweltbezogener Dateninfrastrukturen.

River basin management increasingly relies on comprehensive, harmonized monitoring data to support evidence-based assessment and decision-making. The growing number of chemical substances released from industrial and urban sources, many of which are still insufficiently understood in terms of their environmental behavior and ecological impact, poses significant challenges for environmental protection and water management. Within the European Union, the Water Framework Directive (2000/60/EC) and related guidance documents require Member States to establish integrated inventories of emissions, discharges, and losses, thereby creating a growing need for robust, multi-compartment environmental databases.In response to these requirements, the Institute of Water Quality and Resource Management at TU Wien has developed a centralized, multi-compartment concentration database within the framework of two large transnational Interreg projects together with the project partner. The database is designed to support national and transnational monitoring, modelling and management activities and is already operational at a transnational level and is currently being implemented at a national level by different institutions in the field of research and management. However, the practical use of such complex database infrastructures presents considerable challenges. Tasks such as data import, validation and exploration typically require technical expertise in programming and database management, which limits accessibility for many domain experts.The objective of this thesis is the development and evaluation of an accessible software tool that facilitates interaction with large environmental databases while supporting systematic data quality assurance. To achieve this, the Pollution Evaluation Tool (PET) was developed as an R package implemented as a Shiny application using the golem framework. PET provides a user-friendly interface for databases following the Tethys data model and integrates seamlessly with existing authentication mechanisms and database constraints. The implemented functionality focuses primarily on structured quality assurance workflows. These workflows apply standardized, best-practice procedures to assess data consistency and completeness across core database entities, including sampling sites, samples, measurements, determinants, laboratories, and analytical methods. In addition, PET offers guided filtering mechanisms, constraint-based selection of valid metadata, and structured input forms for updating and creating database entries, thereby reducing the need for direct interaction with the database backend.The results of this thesis are twofold. First, the Quality Assessment mode is realized as an efficient and robust proof of concept, guided both by best-practice principles established in the scientific literature and by the practical requirements of database users. The development focuses on substantially lowering the technical barrier to database interaction while supporting a more efficient, consistent, and reliable data quality assessment workflow.Second, the thesis establishes the conceptual foundation for a future Management mode, which is intended to be implemented in subsequent development stages. By improving usability, transparency, and standardization, the developed tool contributes to the practical implementation of FAIR data principles and supports the effective use of emerging large-scale environmental data infrastructures.