A data quality framework for pervasive and ubiquitous systems

Abstract

Das Problem der Datenqualität begegnet uns in den verschiedenen Informationssystemen. Durch die stetig wachsende Menge an elektronischen Daten rückt ihre Qualität immer weiter in den Vordergrund. Weitere Probleme ergeben sich bei aufkommenden Systemen, wie z.B. bei Ubiquitos Cumputing Systems, die weitaus höhere Herausforderungen an das Datenqualitätsmanagement stellen. Das Anwendungsgebiet von Large-Scale Pervasive Systems erstreckt sich über ein breites Spektrum, wie z.B.<br />Gesundheitswesen, Smart Grids, öffentliche Dienste, Gebäudeautomation und Smart Cities.<br />Durch die Komplexität und Vielfalt von Deployment-Szenarien wird das Beobachten und Verstehen der Umgebung deutlich erschwert. Dieses Vorhaben wird zusätzlich auf Grund vieler unterschiedlicher, meist opportunistisch gesammelter Datenquellen verkompliziert. Des weiteren erschweren die Heterogenität und geographische Verbreitung der Datenquellen, der Bedarf nach realtime Datenverarbeitung und das Fehlen eines gemeinsamen Schemas die Verwaltung der Datenqualität. Deswegen gewinnt das Sammeln von qualitativ hochwertigen Daten, die uns aussagekräftige Erkenntnisse bringen, zunehmend an Bedeutung. Das wichtigste Werk im Bereich der Datenqualität in den Ubiquitous Computing Systems ist Quality of Context (QoC), jedoch wurde jenes wegen des Fehlens sowohl eines allgemeinen als auch eines breit akzeptieren Frameworks stark kritisiert. Ein solches Framework sollte Entwicklern von Context-Aware Services helfen, die Probleme, die die Datenqualität begleiten, wie z.B. Spezifikation, Auswertung und Verwendung zur Laufzeit der Information über die Datenqualität, zu verstehen. Aufgrund dessen befindet sich das Themengebiet "Datenqualitätsmanagement in Pervasive Systems" immer noch in einer Entwicklungsphase und bereitet viele Probleme, die sogar den Entwicklern der Pervasive Systems unklar sind.<br />Diese Arbeit stellt den ersten Schritt zur Entwicklung eines weitumfassenden und allgemeinen Frameworks für Datenqualitätsmanagement in large-scale Ubiquitous Computing Systems dar. Die wichtigsten Konzepte dieses Frameworks sind der Mechanismus für das Messen der Datenqualität, die qualitätsgeführte Datenquellenselektion und der kontinuierliche Qualitätssicherungsmechanismus. Wie bieten eine detaillierte Analyse der Darstellung, außerdem das Erfassen, die Auswertung und die Verwendung der Laufzeit von Datenqualitätsinformationen in Pervasive und Ubiquitous Systems. Weiters wurde das Framework auf realen Daten basierend, die aus der Cosm IoT Plattform gesammelt wurden, ausgewertet. In diesen Experimenten haben wir gezeigt, dass durch die Verwendung von Metriken und Mechanismen des Datenqualitätsmanagements das System eine stabile und geeignete Umgebung für Client-Anwendungen gewährleisten kann. Mit unserem Ansatz sind wir in der Lage, die instabile und hoch dynamische Natur der Datenquellen in Ubiquitous Computing Systemen abzugleichen.<br />

The problem of data quality is inherent to various information systems. Due to abundance of electronic data, effects of data quality are becoming more and more critical. Further problems arise with emerging systems such as ubiquitous computing systems that pose additional requirements regarding the quality of data. The application field of emerging large-scale pervasive and ubiquitous computing systems ranges over multiple domains e.g. healthcare, smart grids, civil service, smart buildings and smart cities.<br />Due to complexity and diversity of run-time scenarios pervasive systems are deployed in, observing and understanding the environment become very difficult. Additionally, large number of diverse data sources, usually utilized opportunistically, only further complicate the matter. On top of this, diversity and geographical distribution of data sources , near real-time data processing and delivery requirements together with a lack of common schema pose additional challenges on data quality management.<br />Therefore, it becomes crucial to be able to acquire quality information which can be translated into meaningful insights.<br />The most important work that addressed the problem of data quality in ubiquitous computing systems is Quality of Context (QoC). However, there has been criticism towards QoC that it lacks general and widely adopted framework, which could help context-aware service designers to understand data quality issues such as specification, evaluation and run-time usage of data quality information. Consequently, the field of data quality management in pervasive systems is still in its infancy.<br />Therefore, many issues remain open and even unclear to the designers and developers of those systems.<br />In this work we set a corner-stone for development of comprehensive and general data quality framework for large-scale ubiquitous computing systems. Most important concepts of the framework are data quality measurement and assessment mechanism, together with quality driven data source selection and continuous quality assurance mechanism. We provide a comprehensive analysis of representation, sensing, evaluation and run-time usage of data quality information in pervasive and ubiquitous systems. Finally, the developed data quality framework is evaluated on the real-life data gathered from Cosm IoT platform. In the experiments it is shown that by utilizing proposed data quality metrics and mechanisms the system provides highly stable and responsive environment for client applications. Thus, by employing the proposed approaches we are able to account for inherently unstable and highly dynamic nature of data sources in ubiquitous computing systems.<br />