SPX : a versatile extensible spatial indexing framework

Abstract

Moderne genetische Markierungstechniken, kombiniert mit fortschrittlichen Mikroskop- und Zellextraktionsmethoden, ermöglichen es Neurobiologen, umfangreiche digitalisierte und ko-registrierte Probensammlungen von Gehirnen verschiedener Spezies zu erstellen. Diese Sammlungen dienen als wertvolle Ressourcen zur Untersuchung neuronaler Strukturen, funktionaler Regionen und neurologischer Verbindungen im Gehirn. Durch die Entnahme einzelner Zellen aus verschiedenen Bereichen des Tiergehirns können Wissenschaftler Verteilungen von Zelltypen und Genexpressionen untersuchen. Das Erkunden dieser umfangreichen Sammlungen, die aus volumetrischen Bildern, segmentierten Strukturen und Genexpressionsdaten bestehen, stellt jedoch eine erhebliche Herausforderung in der Neurowissenschaft dar. Ein effizientes Durchsuchen der Sammlungsdaten in abgefragten Bereichen, der performante Zugriff auf Daten und eine schnelle Verarbeitung der Sammlungsdaten sind für Forscher von entscheidender Bedeutung. In dieser Arbeit präsentiere ich einen flexiblen und erweiterbaren Ansatz zur räumlichen Indizierung und Speicherung von volumetrischen Voxel- und regionsbasierten Daten. Dieser Ansatz ermöglicht einen effizienten Zugang zu den Daten und eine performante Verarbeitung. Das vorgestellte Rahmenwerk unterstützt verschiedene Datensätze, die Indizierung verschiedener Datentypen, und integriert einen Daten-Partitionsmechanismus, um mehrere Datenrepräsentationen oder zeitabhängige Daten innerhalb einer einzigen Datenstruktur zu verwalten. Standardisierte Schnittstellen ermöglichen eine einfache Implementierung neuer Datenabstraktionen, Abfragearten, Indizierungsstrategien und neuer Speichermöglichkeiten. Diese Arbeit bietet einen Überblick über konzeptionelle Ideen, Implementierungsdetails, aktuelle Datenabstraktionen und Abfragetypen. Das System wurde hinsichtlich Leistung und Skalierbarkeit in seinen aktuellen Anwendungsfällen bewertet. Eine kurze Einführung in drei Anwendungen – BrainBaseWeb, BrainTrawler und BrainTrawler Lite – veranschaulicht die Nutzung dieses Rahmenwerks.

The integration of modern genetic techniques, advanced volumetric imaging methods, and single-cell extraction methods has empowered neurobiologists to create extensive digitized and coregistered specimen sample collections. These collections serve as valuable resources for studying neuronal structures, functional compartments, and neurological connections within the brain. By sampling single cells from various locations within the animal brain, scientists can investigate cell type distributions and gene expressions. However, the exploration of these vast collections, which include volumetric images, segmented structures, and gene expression data, poses a significant challenge in neuroscience. Efficient access to specific regions of interest in all images, derivative processed data, cell samples, and metadata is essential for researchers. In this thesis, I present a flexible and extensible approach to spatially index and store volumetric grid data and region-based data, enabling efficient access and providing a streamlined method for implementing new data abstractions, query types, and indexing strategies. The framework supports different datasets, the encoding of neurological structural types, and incorporates a layering mechanism to handle multiple data representations or time-dependent data within a single data structure. Standardized interfaces are defined for loading voxel and region data, preprocessing them, creating data abstractions, and implementing new query types. The data storage is managed using a storage engine approach, allowing users to leverage different storage mechanisms or introduce their own.This thesis provides an overview of conceptual ideas, implementation details, current data abstractions, and query types. The system was evaluated in terms of performance and scalability in its current use cases. A short introduction to three applications, BrainBaseWeb, BrainTrawler, and BrainTrawler Lite, exemplifies the usage of this framework.