Bridging molecular dynamics and neuroscience : Machine learning for efficient simulations and biomedical signal processing

Abstract

Die Mikroelektronikbranche entwickelt sich mit rasanter Geschwindigkeit. Gemäß dem Mooreschen Gesetz hat sich die Anzahl der Transistoren in einem einzigen integrierten Schaltkreis seit den frühen 1970er Jahren ungefähr alle zwei Jahre verdoppelt. In den letzten zwei Jahrzehnten hat sich die Anzahl der Transistoren in kommerziell erhältlichen Mikroprozessoren um etwa das 1,000-fache erhöht. Diese exponentielle Wachstum wurde durch eine signifikante Reduktion der Größe einzelner Komponenten in jeder neuen Generation ermöglicht. Aufgrund dieser signifikanten Größenreduktion wird die Notwendigkeit einer atomistischen Beschreibung in der Mikroelektronik entscheidend, da die relevanten Bereiche nur eine geringe Anzahl von Atomen enthalten. Infolgedessen sind genaue und effiziente Simulationen auf atomarer Ebene zunehmend wichtiger geworden für den Entwurfs- und Entwicklungsprozess. Molekulardynamik (MD) hat sich als ein weit verbreitetes Werkzeug etabliert, um eine Vielzahl der atomistischen Simulationserfordernisse dieser Branche zu erfüllen. Durch die Bewertung der Wechselwirkungen zwischen Atomen in einem System im Laufe der Zeit, ermöglicht MD die Vorhersage bestimmter makroskopischer Eigenschaften von Materialien und gibt Einblicke in komplexe atomare Prozesse, wie die Bildung von Defekten, die die Zuverlässigkeit von mikroelektronischen Geräten beeinträchtigen können. Forscher, die MD verwenden, stehen jedoch vor einer Herausforderung: dem Kompromiss zwischen Genauigkeit und Effizienz. Einerseits bieten ab initio Methoden wie Dichtefunktionaltheorie (DFT) eine hohe Genauigkeit; ihre Berechnungskosten sind jedoch prohibitiv hoch und beschränken ihre Anwendung auf relativ kleine Systeme (<10^3 Atome) und kurze Simulationszeiten (∼10^1 ps). Andererseits erfordern empirische Potentiale, die parametrisierte mathematische Modelle der potentiellen Energieoberfläche sind, weniger Rechenressourcen. Ihre Genauigkeit ist jedoch für viele Anwendungen nicht ausreichend und sie erfordern eine fachkundige Parameterisierung für jedes neue interessierende System. Diese Dissertation konzentriert sich darauf, Maschinelles Lernen (ML) basierte Lösungen zur Verbesserung des Kompromisses zwischen Genauigkeit und Effizienz in MD Simulationen zu entwickeln. Im Rahmen dieser Arbeit wurden vier neue ML interatomare Potentiale entwickelt: (I) zur Modellierung von amorphem Siliziumnitrid, einem Material mit Anwendungen von der Dielektrikschicht von mikroelektronischen Geräten bis zur Panzerung des Space Shuttles; (II) zur Simulation von Neutronenbestrahlungseffekten in Siliziumgermanium, relevant für die Untersuchung mikroelektronischer Bauteile, die Strahlungsumgebungen wie in Kernkraftwerken und dem Weltraum ausgesetzt sind; (III) zur Untersuchung des Oxidationsprozesses von Silizium, der für die Halbleiterindustrie von entscheidender Bedeutung ist; (IV) zur Modellierung von amorphem Siliziumdioxid, das als Isolator in mikroelektronischen Geräten weit verbreitet ist. Darüber hinaus wurden zwei alternative ML basierte Ansätze entwickelt um die Bildungsenergie und atomare Struktur von Defekten in amorphen Materialien vorherzusagen. Während der genannten Entwicklungen wurden zwei thematische Hauptengpässe identifiziert: die Zeit, die für den Aufbau der Trainingsdatensätze benötigt wird, und die unzureichende Optimierung der Hardware, auf der die Modelle ausgeführt werden. Um diese Probleme zu lösen, wurden folgende Lösungsansätze untersucht: (A) ein aktiver Lernalgorithmus, um das Training von ML interatomaren Potentialen zu beschleunigen, und (B) die Verwendung eines neuromorphen Hardware Beschleunigers für MD Simulationen. Die letztere Lösung, basierend auf der Arbeit von Mo et al., wurde erfolgreich eingesetzt, um einen Germanium-basierten Memristor mit über 100,000 Atomen zu simulieren. In dieser Dissertation wurde ein zweikomponentiger Ansatz, bestehend aus einem Deskriptor und einem ML Modell, erfolgreich auf die Entwicklung von ML interatomaren Potentialen für MD Simulationen angewendet. Aufbauend auf diesen Erfolgen wurde ein ähnlicher Ansatz erweitert, um ein anderes Problem zu lösen: die automatische Annotation von motorisch evozierten Potenzialen (MEPs). Dabei handelt es sich um Elektromyographie Aufzeichnungen, die von Muskeln als Reaktion auf transkranielle Magnetstimulation (TMS) erhalten werden und eine wichtige Rolle bei der Behandlung neurologischer Erkrankungen wie Multipler Sklerose spielen. MEPs werden in der Regel anhand ihrer Latenz charakterisiert, definiert als Zeitintervall zwischen der TMS Stimulation und dem Beginn der MEPs, und die Behandlung eines einzigen Patienten erfordert möglicherweise die Analyse Tausender MEPs. Dies geschieht häufig manuell durch einen Mediziner, da die hohe Variabilität und das geringe Signal-Rausch-Verhältnis dieser Signale ihre automatische Analyse zu einem schwer zu lösenden Problem machen. Um diese Probleme zu mildern, wird in dieser Arbeit ein Algorithmus vorgestellt, der von den Entwicklungen von ML interatomaren Potentialen inspiriert ist. Durch Automatisierung und Beschleunigung des MEP Annotationsprozesses reduziert dieser Algorithmus die Arbeitsbelastung für Mediziner und minimiert das Potenzial menschlicher Fehler. Darüber hinaus ermöglichen seine geringen Berechnungskosten eine Echtzeitanalyse der Signale, was Möglichkeiten für zukünftige Anwendungen eröffnet. Die Ergebnisse zeigen, dass die vier vorgestellten ML interatomaren Potentiale einen mittleren absoluten Fehler (MAE) <10 meV/Atom aufweisen, wenn sie mit ab initio Methoden in Energieberechnungen verglichen werden, während sie gleichzeitig zwischen drei bis vier Größenordnungen schneller sind. Der in dieser Arbeit vorgestellte aktive Lernalgorithmus wurde erfolgreich bei der Entwicklung des ML interatomaren Potentials zur Untersuchung der Oxidation von Silizium eingesetzt, während der auf neuromorpher Hardware basierende Beschleuniger für MD Simulationen etwa zwei Größenordnungen schneller ist als auf herkömmlichen wissenschaftlichen Clustern. Andererseits führte die transdisziplinäre Anpassung dieser Lösungen zu Annotationen von MEPs mit einer MAE von 0.5 ms, wodurch sie praktisch nicht von den Annotationen eines medizinischen Experten zu unterscheiden sind.

The pace of development in the microelectronics field is among the fastest across all industries. In line with Moore’s Law, the number of transistors in a single integrated circuit has approximately doubled every two years since the early 1970s and, over the past two decades, the transistor count in commercially available central processing units (CPUs) has increased by approximately 1,000 times. This exponential growth has been allowed by a significant reduction in the size of individual components with each new generation. Due to this reduction in size, the necessity of an atomistic description becomes crucial in microelectronics, as the regions of interest contain only a few atoms. Consequently, accurate and efficient atomic-level simulations have become increasingly essential in the design and development processes. Molecular dynamics (MD) has emerged as a widely used tool to meet a wide range of the atomistic simulation requirements of this industry. By evaluating the interactions among atoms in a system over time, MD enables the prediction of certain macroscopic properties of materials and sheds light on complex atom-level processes, such as the formation of defects that can impact the reliability of microelectronic devices. However, researchers employing MD face a long-standing challenge: the trade-off between accuracy and efficiency. On one hand, ab initio methods, such as density functional theory (DFT), provide high accuracy; nonetheless, their computational costs are prohibitively high, limiting their application to relatively small systems (<10^3 atoms) and short simulation times (∼10^1 ps). On the other hand, empirical potentials, which are parameterized mathematical models of the potential energy surface (PES), require fewer computational resources. However, their accuracy is not sufficient for many applications and they require expert parameterization for every new system of interest. This thesis aims to develop machine learning (ML)-based solutions that enhance the trade-offs between accuracy and efficiency in MD simulations. As part of this work, four novel ML interatomic potentials were developed: (I) to model amorphous silicon-nitride, a material with applications ranging from dielectrics in microelectronic devices to the Space Shuttle’s armor; (II) to simulate neutron irradiation effects in silicon-germanium, relevant to the study of microelectronic components exposed to radiative environments, like nuclear power plants and outer space; (III) to investigate the oxidation process of silicon, critical to the semiconductor industry; and (IV) to model amorphous silicon-dioxide, extensively used as an insulator in microelectronic devices. Moreover, two alternative ML-based approaches were developed to predict the formation energy and atomic structure of defects in amorphous materials. During the aforementioned developments, two main bottlenecks were identified: The time required for building the training datasets, and the inadequate optimization of the hardware in which the models are deployed. To address these issues, the following solutions were investigated: (A) an active learning algorithm to expedite the training of ML interatomic potentials, and (B) the utilization of a novel neuromorphic-based hardware accelerator for conducting MD simulations. The latter solution, based on the work of Mo et al., was successfully employed to simulate germanium-based memristors composed of over 100,000 atoms. In this thesis, a dual-component approach, consisting of a descriptor and an ML model, has been successfully applied to the development of ML interatomic potentials for MD simulations. Building upon these advancements, a similar approach has been extended to address a distinct problem: the automatic annotation of motor evoked potentials (MEPs). These are electromyography (EMG) recordings obtained from muscles in response to transcranial magnetic stimulation (TMS), which play a crucial role in the treatment of neurological disorders, such as multiple sclerosis. MEPs are typically characterized by their latency, defined as the time interval between the TMS stimulation and the onset of the MEP, and the treatment of a single patient might require the analysis of thousands of MEPs. This is frequently done manually by a clinician, since the high variability and low signal-to-noise ratio of these signals make their automatic analysis a hard problem to solve. To mitigate these issues, an algorithm inspired by the developments in ML interatomic potentials is presented in this thesis. By automating and accelerating the MEPs annotation process, this algorithm reduces the workload for clinicians and minimizes the potential for human errors. Moreover, its low computational costs enable on-the-fly signal analysis, which opens up possibilities for future applications, such as closed-loop ML-based brain stimulation protocols. Results show that the four ML interatomic potentials developed in this thesis presented a mean absolute error (MAE) <10 meV/atom when compared to ab intio methods in energy calculations, while being between three to four orders of magnitude faster. The active learning algorithm presented in this work was sucessfully employed in the development of the ML interatomic potential to study the oxidation of silicon, while the neuromorphic based hardware accelerator allowed for MD simulations about two orders of magnitude faster than on traditional scientific clusters. On the other hand, the transdiciplinary adaptation of these solutions resulted in annotations of MEPs with a MAE of 0.5 ms, making it virtually indistinguishible from the annotations of a medical expert.