Optimal operation of cryogenic calorimeters through deep reinforcement learning

Abstract

Kryogene Phononendetektoren mit supraleitenden Thermometern erreichen die höchste Sensitivität für leichte Dunkle-Materie-Kern-Streuung in derzeitigen Direct-Detection Dunkle Materie Experimenten. Bei solchen Sensoren müssen die Temperatur des Thermometers und der Vorspannungsstrom in seinem Ausleseschaltkreis sorgfältig optimiert werden, um optimale Betriebsbedingungen zu erreichen. Diese Aufgabe ist nicht trivial und muss manuell von einem Experten durchgeführt werden. In unserer Arbeit automatisieren wir das Verfahren mit Hilfe von Reinforcement Learning in zwei Situationen. Erstens trainieren wir mit einer Simulation der Reaktion von drei CRESST-Detektoren, die als virtuelle Umgebung verwendet wird. Zweitens trainieren wir live mit denselben Detektoren, die im CRESST-Untergrundlabor betrieben werden. In beiden Fällen gelingt es uns, einen Standarddetektor so schnell zu optimieren, dass unsere Methode in der Praxis eingesetzt werden kann. Zum Schluss erörtern wir vortrainierte Modelle, die die Aufgabe ohne Feinabstimmung auf einzelnen Detektoren erlernen können, wenn ein umfangreicher und vielfältiger Datensatz für das Offline-Training zur Verfügung steht. Unsere Methode kann die Skalierbarkeit von kryogenen Detektorsystemen verbessern.

Cryogenic phonon detectors with superconducting thermometers achieve the strongest sensitivity to light dark matter-nucleus scattering in current direct detection dark matter searches. In such devices, the temperature of the thermometer and the bias current in its readout circuit need careful optimization to achieve optimal operation conditions. This task is not trivial and has to be done manually by an expert. In our work, we automate the procedure with reinforcement learning in two settings. First, we train on a simulation of the response of three CRESST detectors, used as a virtual reinforcement learning environment. Second, we train live on the same detectors operated in the CRESST underground setup. In both settings, we accomplish the optimization of a standard detector sufficiently fast for practical applications. Finally, we discuss pre-trained models that could learn the task without fine-tuning on individual detectors, given a rich and diverse data set for offline training. Our method can im- prove the scalability of cryogenic detector setups.