Shared semantic context in lifetime knowledge archive

Abstract

Die starke Verbreitung digitaler Technologien in unserer Informationsgesellschaft hat die soziale Kommunikation sowie das persönliche Informationsmanagement signifikant beeinflusst und verändert.<br />Persönliche Informationen kommen heute aus verschiedenen Quellen und werden strukturell sowie semantisch immer komplexer. Die Verwaltung dieser digitalen "Erinnerungen" ist eine interdisziplinäre Herausforderung wobei viele Aspekte von flexibler Softwarearchitektur bis hin zu Automation von heterogenen verteilten Datenspeichern bedacht werden müssen. Die Lösung die in dieser Arbeit vorgeschlagen wird ist eine Mischung aus persönlichem Dokumentenmanager sowie einem strukturiertem Annotationsframework mit einem semantischem Speicher.<br />Daten aus vielfältigen digitalen Quellen sowie deren Bedeutung werden in einer mehrfachen Ontologie erfasst. Diese Ontologie ist in Schichten geteilt, basierend auf dem jeweiligen Kontext und dem semantischen Verständnis.<br />Jede diese Schichten ist lokal vollständig in seiner Abdeckung der Begriffsbildung, was die Bildung individueller Module erlaubt. Persönliche Informationen werden durch Verbindungen, Dialoge und soziale Interaktion beeinflusst. Für Ontologien digitaler Erinnerungen wird ein solcher gemeinsamer Kontext durch die Wiederverwendung und Rekombination von Ontologien erreicht. Solche Basisontologien kombiniert mit geeigneten Fragen führen zu wechselseitigem Verständnis und Interoperabilität zwischen unterschiedlichen Terminologien.<br />Das ungeheure Ausmaß der Informationen die sich im Laufe eines Lebens ansammeln stellt eine ernste Herausforderung bezüglich der Verständlichkeit dar.<br />Um diese Verständlichkeit zu verbessern, schlagen wir die Verwendung eines strukturierten Annotationsframeworks vor. Dieses ist auch notwendig um die Informationen von verschiedenen Medien in einem gemeinsamen Modell zu vereinen. Das Framework bietet Informationen zu Daten wie deren zeitlich-räumliche Ausdehnung, beteiligte Agenten und deren Handlungen sowie semantische Informationen wie Wer, Was, Wann und Wo. Die Annotation selbst wird automatisiert vorgenommen wobei auf Techniken aus der Textananlyse zurückgegriffen werden. Die Verständlichkeit wird weiters durch die Unterteilung des Informationsraums in mehrere Sammlungen erhöht. Diese Sammlungen sind die Grundlage zur Bildung assoziativer Spuren, einem wesentlichen Werkzeug zum Verwalten von digitalen Erinnerungen. Spuren werden in dieser Arbeit aber auch als eine Art Meilensteine oder Landmarken verwendet. Sie Entstehen aus dem Informationsraum des Benutzers, und Elemente die Eigenschaften oder Bedeutungen mit diesen Landmarken gemeinsam haben werden mit diesen assoziiert und verbunden.<br />Um die Möglichkeiten eines solchen "Erinnerungsarchivs" zu demonstrieren wurde ein erweiterbares, service-orientiertes Framework entwickelt. Der Speicher wird über spezielle Module befüllt. Die Hauptaufgabe des Frameworks basiert auf semantischer Datenanreicherung und nachfolgender Speicherung in dem semantischen Speicher. Innovative Visualisierungenstechniken wurden zur effizienteren Navigation in diesem Archiv eingeführt. Die vorgeschlagene night-sky Visualisierung ermöglicht ein besseres Verständnis der dahinterliegenden Daten. Experimente mit verschiedenen Datensammlungen haben gezeigt, dass mit Hilfe der night-sky Visualisierung, aufbauend auf einer konzeptbasierten Suche, das Finden und Lernen in großen Sammlungen erleichtert wird.<br />

The emerging pervasiveness of digital technologies within our information society have significantly revolutionized social communication and personal information management. Personal information is now characterized by the fact that it originates from heterogeneous sources and is becoming more and more complex in structure and semantics. Managing these digital `memories' of a lifetime is a multi-disciplinary challenge, involving all facets of semantic enhancements, flexible software architecture, and automation among heterogeneous and distributed data sources. Consequently, the solution proposed in this thesis is a blend of personal document management, structured annotation framework, and a semantic triple store.<br />Semantics of a diverse range of digital memories and also their associations are captured in a multifold ontology. The ontology is partitioned into layers based on the information context and the semantic insight. Each layer is locally complete in its coverage of conceptualization which allows easy maintenance of growing individual modules. The personal information emerges through connections, dialog and social interaction. For the ontology of digital memories, such a shared context is achieved by reusing an existing foundational ontology as a base. The reuse of foundational ontologies, through guided questions, can facilitate mutual understanding and interoperability among varying terminologies.<br />The enormity of the lifetime information poses a serious challenge in terms of comprehensibility. To improve the comprehensibility, we suggest making use of a structured annotation framework. A structured annotation framework is also necessary to bring together information extracted from diverse media types into an integrated model. The framework provides the semantic insight of life-items related to their spatio-temporal location, involved agents \& their activities, and semantic content labels corresponding to who, when, where, and what.<br />The process of annotation is automated using named entity recognition and text mining. Comprehensibility is further improved by partitioning the knowledge space into collections. These collections lay the foundation for constructing associative trails -- an essential feature for managing digital memories of lifetime, and an important aspect of the storytelling. Trails are also constructed in our work by means of landmarks. They emerge from the user's knowledge space and items that share meaning or physical similarity with the landmark become associated with it and selection of the landmark activates linked items, and vice versa.<br />Finally, an extensible service-oriented framework is developed for demonstrating the capabilities of the lifetime store. Data is fed into the store using a number of dedicated data acquisition modules. The core functionality of the framework is based upon semantic data enrichment and subsequent ontological storage. Innovative visualization techniques are introduced to effectively navigate in the lifetime archive. The proposed night sky visualization facilitates better understanding of the underlying data by exploiting the overview \& details-on-demand interaction technique. Our experiments with different data sets are testament to the hypothesis that sky visualization, on top of concept-focused associative search, can make it easy to locate, link, and learn from even a huge repository.