Automated quality indicators for machine-actionable data management plans

Abstract

Datenmanagementpläne (DMPs) sind Dokumente die Forschungsprojekte begleiten und beschreiben, wie Daten verwaltet, persistiert und wiederverwendbar gemacht werden. Maschinell verarbeitbare DMPs (maDMPs) beinhalten strukturierte Metadaten auf denen Anwendungen aufbauen können und die Research Data Alliance (RDA) veröffentlichte den DMP Common Standard (DCS) als Basis. Lösungen, die maDMPs verwenden, decken bereits verschiedene Anwendungsfälle ab, doch trotz dieser Fortschritte wird die Überprüfung von DMPs in der Regel manuell durchgeführt, und unseres Wissens existiert keine automatisierte Lösung, die Reviewer dabei unterstützt. Folglich ist die Evaluierung von DMPs ein zeitintensiver, manueller Prozess, der stark vom Urteil der Reviewer abhängig ist. In dieser Arbeit untersuchen wir die Verwendung automatisierter Indikatoren, um Informationen zu Qualitätsaspekten bereitzustellen, um Reviewern bei der Evaluierung von DMPs zu unterstützen. Basierend auf einem Review der Literatur und Diskussionen mit der maDMP Community identifizieren wir Anforderungen und schlagen eine konzeptionelle Architektur für ein Framework vor, welches Reviewern bei der Evaluierung von DMPs durch die Bereitstellung von automatisch generierten Qualitätsindikatoren unterstützt. Aufbauend auf dieser konzeptionellen Architektur implementieren wir einen Prototypen und evaluieren diesen, um zu überprüfen, ob die ermittelten Anforderungen abgedeckt sind und zeigen durch konkrete Beispiele, dass der Prototyp automatisch Qualitätsmessungen bereitstellen kann, um Evaluierungskriterien in Bezug auf Vollständigkeit, Durchführbarkeit, Qualität der Aktionen und Richtlinienkonformität abzudecken und, dass diese Messungen das Ergebnis einer manuellen Evaluierung reflektieren. Außerdem führen wir eine Fallstudie durch, um herauszufinden, inwieweit die DMP-Evaluierung in Bezug auf die Anforderungen der Science Europe Evaluation Rubric mithilfe der vorgeschlagenen Lösung automatisiert werden kann. Das unveränderte DCS-Anwendungsprofil kann nur bedingt die Informationen, die in der Evaluation Rubric verlangt werden, abdecken. Nach der Erweiterung des DCS-Anwendungsprofiles können wir eine Zuordnung erstellen, die alle von der Evaluation Rubric benötigten Information zu Elementen eines maDMP zuordnet. Allerdings stellen wir auch fest, dass nur eine teilweise automatisierte Evaluierung möglich ist und genauere Bewertungskriterien erforderlich sind, um einen höheren Automatisierungsgrad zu erreichen.

Data Management Plans (DMPs) are documents accompanying research projects with the purpose of describing how data is managed, stored and preserved. Machine actionable DMPs include structured metadata that applications can leverage and the Research Data Alliance (RDA) proposed the DMP Common Standard (DCS) as a baseline. Applications using maDMPs already address various use cases, but nonetheless the review of DMPs is usually conducted manually by human reviewers, and to the best of our knowledge, there exists no solution to assist them. Therefore, the evaluation of DMPs is a time intensive process involving extensive human labor and judgement. In this work, we investigate the use of automated indicators to provide information on quality aspects to assist reviewers in the evaluation of DMPs. Based on the literature review and discussions with the maDMP community we identify requirements and propose a conceptual architecture of a framework assisting in the evaluation of DMPs through the provision of automatically created quality indicators. Following the conceptual architecture, we implement a prototype and evaluate it to verify that the elicited requirements are covered and show through concrete examples, that the prototype can automatically provide quality measurements to meet the review goals completeness, feasibility, quality of actions and guideline compliance and that these measurements mirror the results of a manual assessment. In addition, we perform a case study to show to what extent the DMP evaluationwith regard to the Science Europe DMP Evaluation Rubric can be automated using the proposed solution. Using the unaltered DCS application profile only parts of the guidelines in the Evaluation Rubric can be addressed with corresponding information of a DCS maDMP. After extending the underlying DCS application profile we can provide mappings covering the required information of all given questions of the rubric, but we also observe that only partial automated assessment is possible and more machine actionable evaluation criteria are needed to achieve a higher level of automation.