Voice Identification with Artificial Corpus for Serbian language

Abstract

Text-to-Speech-(TTS)-Technologien haben in den letzten Jahren erhebliche Fortschritte erzielt, dennoch fehlen für ressourcenarme Sprachen wie Serbisch weiterhin Systeme, diein der Lage sind, vielfältige und kontrollierbare synthetische Sprache für Forschungszwecke und weiterführende Anwendungen zu erzeugen. Diese Arbeit adressiert diese Lücke durch die Entwicklung eines mehrsprecherfähigen serbischen TTS-Systems, das synthetische Stimmen mit klar definierten demografischen Profilen hinsichtlich Geschlecht und Alter generieren kann. Die zentrale Forschungsfrage dieser Arbeit ist, ob eine moderne neuronale TTS-Architekturdemografische Sprechermerkmale erlernen und reproduzieren kann, wenn sie ausschließlich auf einem synthetischen Datensatz trainiert wird. Zur Untersuchung dieser Fragestellungwurde eine vollständige Verarbeitungspipeline entworfen, die die Datensatzerstellung, Vorverarbeitung, Modellkonfiguration, das Training, die Inferenz sowie die Evaluation umfasst. Geschriebener Text wurde mit synthetischem Audio kombiniert, das mithilfekommerzieller TTS-Dienste erzeugt wurde, wodurch ein ausgewogener Korpus für sechs Sprechergruppen entstand. Als Kernmodell wurde die Glow-TTS-Architektur verwendet, implementiert im Coqui-TTS-Framework und unterstützt durch trainierbare Sprecher-Einbettungen sowie phonembasierte Eingaberepräsentationen.Die Evaluation des Systems erfolgte sowohl mittels objektiver Metriken (MOSNet, PESQ,STOI) als auch durch einen umfassenden subjektiven Hörtest zur Beurteilung von Verständlichkeit, Natürlichkeit und demografischer Wahrnehmung. Die Ergebnisse zeigen, dass das Modell verständliche synthetische Sprache mit konsistenter Qualität über alle Sprecher hinweg erzeugt und Geschlechtsmerkmale zuverlässig bewahrt. Altersbezogene Charakteristika wurden hingegen nur teilweise erfasst: Während junge und erwachsene Profile erkennbar waren, wurden ältere Stimmen häufig als erwachsen wahrgenommen, was die Einschränkungen rein synthetischer Trainingsdaten sowie eine reduzierte prosodische Variation widerspiegelt. Insgesamt zeigt diese Arbeit, dass eine kontrollierte demografische Sprachsynthese für das Serbische auch ohne natürliche Sprachaufnahmen realisierbar ist. Die entwickelte Pipeline bildet eine Grundlage für zukünftige Forschung in den Bereichen mehrsprachige demografische Modellierung, erweiterte Prosodiesteuerung sowie Datensatzgenerierung für nachgelagerte Aufgaben wie Sprecherklassifikation und Fairness-Evaluierung in maschinellen Lernsystemen.

Text-to-speech (TTS) technologies have advanced significantly in recent years, yet languages with limited resources, such as Serbian, still lack systems capable of generating diverse and controlled synthetic speech suitable for research and downstream applications. This thesis addresses this gap by developing a multi-speaker Serbian TTS system capable of producing synthetic voices that represent distinct demographic profiles defined by gender and age. The central research question of this work is whether a modern neural TTS architecture can learn and reproduce demographic speaker characteristics when trained solely on a synthetic dataset. To investigate this, a complete processing pipeline was designed , including dataset construction, preprocessing, model configuration, training, inference, and evaluation. Written text was paired with synthetic audio generated using commercialTTS services, forming a balanced corpus for six speaker groups. The Glow-TTSarchitecture, implemented within the Coqui TTS framework, was used as the core model, supported by trainable speaker embeddings and phoneme-based input representations. The system was evaluated using both objective measures (MOSNet, PESQ, STOI)and a comprehensive subjective listening test assessing intelligibility, naturalness, and demographic perception. The results show that the model produced intelligible synthetic speech with consistent quality across speakers and preserved gender cues reliably. Agerelated characteristics were captured only partially: young and adult profiles were recognisable, while elderly voices were frequently perceived as adult, reflecting the limitations of purely synthetic training data and reduced prosodic variation. Overall, the thesis demonstrates that controlled demographic voice synthesis for Serbian is feasible even in the absence of natural speech recordings. The designed pipeline lays the groundwork for future research in multilingual demographic modelling, enhanced prosodycontrol, and dataset generation for downstream tasks such as speaker classification and fairness evaluation in machine learning systems.