Intelligent prefetching for a grid-enabled distributed system : improving web access for a distributed grid system by enabling browser downloads combined with machine learning based prefetching and caching techniques

Abstract

Großflächige Gridsysteme, wie das CERN Worldwide LHC Computing Grid (WLCG), haben oft mit Problemen zu kämpfen, die sich aus einer Vielzahl von heterogenen Speichereinheiten ergeben. Mögliche Probleme umfassen unter anderem komplizierte Zugriffsmechanismen wegen unterschiedlicher Protokolle und ineffiziente Nutzung von Speicherressourcen. Im Rahmen dieser Arbeit wird die Frage des Umgangs mit unterschiedlichen Zugriffsprotokollen bei Browser-Downloads für Rucio, das verteilte Datenmanagementsystem von ATLAS, untersucht und ein Prototyp für Machine Learning-basiertes Prefetching mit Rucio-Daten entwickelt. Simulationsergebnisse zeigen, dass im Vergleich zu statischen Prefetching-Techniken mit einem Random Forest Klassifikator eine Erhöhung der Cache-Trefferrate von bis zu 20% erreicht werden kann.

Large-scale grid systems, such as the CERN Worldwide LHC Computing Grid (WLCG), often have to deal with problems arising from a variety of heterogeneous storage units. Potential issues include complicated access due to different protocols, inefficient use of storage resources and many more. In the course of this thesis, the problem of dealing with different access protocols when handling browser downloads is solved for Rucio, the ATLAS distributed data management system, and a proof of concept for machine learning based prefetching is being developed using Rucio data. Simulation results show that, compared to static prefetching techniques, cache hit rate increases of up to 20% can be achieved with a Random Forest classifier.