Efficient end-to-end brain-to-text decoding via neural pretraining

Abstract

Brain-computer interfaces (BCIs) für Sprachdekodierung zielen darauf ab, die Kommunikationsfähigkeit von Personen mit schweren Behinderungen wiederherzustellen, indem neuronale Aktivität direkt in verständliche, intendierte Sprache übersetzt wird. Aktuelle Lösungen erreichen eine hohe Dekodierungsgenauigkeit, basieren jedoch auf mehrstufigen Dekodierungspipelines, die neuronale Encoder-Modelle mit rechenintensiven Sprachmodellen (language models) kombinieren. In dieser Arbeit stellen wir eine End-to-End-Modellarchitektur vor, die effiziente Audiomodelle der OpenAI-Whisper-Familie für die Brain-to-Text-Sprachdekodierung verwendet. Unsere neuronalen Netze werden in drei Stufen trainiert: Pretraining auf Basis großer neuronaler Datensätze von Menschen und anderen Spezies, Dekodierung von Phonemsequenzen und direkte End-to-End-Satzdekodierung. Unser bestes Modell, basierend auf einem GRU-Encoder und einem OpenAI-Whisper-Decoder, erreicht eine Wortfehlerrate (WER) von 10,33% auf dem Brain-to-Text 2025 Datensatz, was eine Verbesserung gegenüber der vorigen besten reinen End-to-End-WER von 11,06% darstellt. Weiters untersuchen wir den Einfluss neuronalen Pretrainings unter Verwendung von großen Datensätzen, die von Menschen und Mäusen gesammelt wurden. Die Effekte des Pretrainings in unseren Experimenten sind stark von der Modellarchitektur abhängig: Während die Leistung GRU-basierter Modelle durch Pretraining verschlechtert wird, zeigen Transformer-basierte Modelle Verbesserungen in Dekodierungsgenauigkeit. Diese Steigerung der Genauigkeit ist insbesondere bei kleineren und effizienteren Modellarchitekturen sichtbar. Die stärksten Verbesserungen erzielen wir in unseren Experimenten durch große Mausdatensätze, was darauf hindeutet, dass ein Transfer von diesen Daten zur Brain-to-Text-Dekodierung teilweise möglich ist. Insgesamt verbessert diese Arbeit bestehende effiziente End-to-End-Architekturen für die Brain-to-Text-Dekodierung und liefert einen ersten Überblick über den Einfluss von neuronalem Pretraining mit Maus- und menschlichen Daten.

Brain-computer interfaces (BCIs) for speech decoding aim to restore effective communication ability for individuals with severe disabilities by translating neural activity directly into intelligible attempted speech. Current state-of-the-art solutions achieve strong decoding accuracy, but often rely on multi-stage decoding pipelines that combine neural encoder models with computationally expensive external language models. In this thesis, we introduce an end-to-end model architecture that leverages lightweight pretrained audio decoders from the OpenAI Whisper family for Brain-to-Text speech decoding. Our models are trained using a three-stage pipeline consisting of large-scale, cross-species neural pretraining, phoneme sequence decoding and final end-to-end sentence decoding. Our best GRU-Whisper-based model achieves a word error rate (WER) of 10.33% on the Brain-to-Text 2025 benchmark dataset, improving upon the best prior non-ensembled end-to-end word error rate of 11.06%. We further investigate the impact of large-scale neural pretraining using data from both mice and humans. The effects of pretraining in our experiments are dependent on architecture: while pretraining degrades performance for GRU-based models, Transformer-based models show improvements in decoding accuracy, particularly when evaluating smaller, more efficient model configurations. Pretraining on large-scale mouse datasets provides the most consistent benefit in our experiments, suggesting that cross-species and cross-task transfer from rodents to the Brain-to-Text decoding task is partially feasible. Overall, this thesis advances efficient end-to-end Brain-to-Text decoding and provides an initial analysis of how large-scale mouse and human neural data can be used for pretraining in this setting.