ODYNN : an optimization suite for biological neural circuits

Abstract

Um eine Skalierbarkeit von modelierten neuronalen Schaltkreisen mit detalierten physikalischen Eigenschaften zu ermöglichen, werden neuartige Optimierungswerkzeuge benötigt. In dieser Arbeit, entwickeln wir eine Hybrid Methode um die Parameter von neuronalen Modellen für gegebene Objekte in einer überwachten Lernumgebung anzupassen. Die entwickelte Methode basiert auf Algorithmen der zufällig initialisierten stochastischen Gradientenverfahren. Wir präsentieren ODYNN, ein Optimierungssystem für neuronale Netze. ODYNN wurde entwickelt für die Simulation und Optimierung biologischer neuronaler Schaltkreismodelle. Diese Modelle beschreiben weitläufiges verhalten neuronaler Prozesse und werden zum Testen neurowissenschaftlicher Theorien verwendet. Durch verschiedene Funktionen, wird es ermöglicht beliebig strukturierte neuronale Schaltkreise zu entwerfen und zu optimieren um spezifisches verhalten zu bestimmen. Diese Funktionen beinalten unter anderem der Möglichkeit Experimente mit verschiedenen realistischen Modellen, als auch künstlich wiederkehrenden neuronalen Netzwerken (insbesondere Long Short Term Memory) durchzuführen. Des Weiteren ist es möglich Kalziumwerte einfließen zu lassen. Für eine gegebene neuronale Struktur und einem gegebenem neuronalen bzw. synaptischen Model adaptiert ODYNN zuerst einen Random-Search Algorithmus und anschließend einen Adaptive-Momentum Lernalgorithmus, der auf dem Gradientenverfahren basiert um die Kalziumwerte der gewünschten eingegebenen/ausgegebenen Prozesse. Des Weiteren führen wir Optimisierungen einzelner Neuronen durch für biophysikalisch realistische, komplexe Neuronmodelle durch. Diese werden durch Partielle Differentialgleicheungen realisiert und untersuchen den Parameterraum um auf die neuronalen Prozesse auf zelulärer Ebene zu folgern. Darüber hinaus optimieren wir die synaptischen und neuronalen Parameter in kleinen neuronalen Schaltkreisen mithilfe des hybriden optimierungs Ansatzes und können so die Leistung der Lernmodell zur Formulierung beliebiger Prozesse einschätzen. Außerdem veranschaulichen wir, dass es mit ODYNN möglich ist, effizient, innerhalb einer angemessenen Optimisierungsdauer für größerer neuronaler Schaltkreis Parameterräume zu skalieren. Wir optimierern neuronale Schaltkreise, wie den “Tap-Withdrawl”, ein neuronales System basierend auf dem Nervensystem eines Erdwurms C.elegans, welches reflexartige Reaktionen als Antwort auf mechanische Stimulationen induziert. Als auch den zur Fortbewegung des C. elegans Nematode, welcher verantwortlich ist um die Wanderwellen der Muskeln zu generieren, mit denen der Wurm sich fortbewegt.

Modeling neural circuits with detailed biophysical properties requires novel optimization toolkits to enable scalability. In this study, we develop a hybrid method based on random-initialization of stochastic gradient descent algorithm to tune the parameters of neural circuit models, for a given objective in a supervised learning setting. We present ODYNN, an optimization suite for dynamic neural networks. ODYNN is designed for simulating and optimizing biological neural circuits to model multi-scale behaviors exhibited by the neural dynamics, and to test neuroscience related hypotheses. It is enhanced with features such as performing experiments with different biophysically realistic neuronal models as well as artificial recurrent neural networks (in particular Long Short Term Memory), incorporating calcium imaging data, to design arbitrarily structured neural circuits and optimizing them to govern specific behaviors. For a given neural circuit structure, a given neuronal and synaptic model, ODYNN adopts a random search optimization step followed by an adaptive-momentum gradient-based learning algorithm to learn the calcium imaging data of desired input/output dynamics. We perform single neuron optimizations for biophysically realistic complex neuron models which are realized by partial differential equations, and explore in their parameter space to reason about neuronal dynamics at cell level resolution. We then perform synaptic and neural parameter optimization in small neuronal circuits, by the hybrid optimization approach and assess the performance by learning models to express arbitrarily chosen dynamics. Furthermore, we demonstrate that ODYNN is able to scale up to the tuning of larger neural circuits' parameter spaces, efficiently, in a reasonable optimization duration. We optimize neural circuits such as the tap-withdrawal, a neural system from the nervous system of the soil worm, C. elegans, that induces reflexive response as a result of mechanical input stimulations; and also the forward locomotion circuit of the C. elegans nematode which is responsible for generating traveling waves into the muscle cells to generate the worm's forward crawling.