Scalable life cycle management and deployment of foundational AI models for research settings

Abstract

Foundational AI-Modelle werden zunehmend in wissenschaftlichen Arbeitsabläufen eingesetzt. Institutionen und Universitäten müssen diese Modelle Forschenden zugänglich machen und sie zugleich auf gemeinsamer und begrenzter GPU-Infrastruktur betreiben. Diese Arbeit untersucht, wie das Life Cycle Management und Deployment von Foundational AI-Modellen in Forschungsumgebungen organisiert werden können. "Life Cycle Management" bezieht sich in dieser Arbeit auf Identität, Onboarding, Deployment-Varianten und Laufzeitaufzeichnungen aufrufbarer Modellinstanzen; das Training oder Fine-Tuning der Modelle ist nicht Gegenstand der Arbeit. Die Untersuchung erfolgt in drei Schritten. Zuerst werden ein Anforderungskatalog und eine vergleichende Support/Gap-Analyse aus einer eingebetteten Mehrfallstudie der TU Wien (Betriebs- und Forschungspraxis) sowie aus zwei europäischen Referenzplattformen (AI4OS und AI4Life) abgeleitet. Anschließend wird der externe Lösungsraum systematisch über Standards, Werkzeuge, Plattformen und Architekturmuster kartiert und in eine join-chain-basierte Referenzarchitektur sowie in vorgeschlagene Mindestverpflichtungen für Institutionen synthetisiert. Schließlich untersucht eine explorative experimentelle Studie auf einer Slurm-basierten GPU-Infrastruktur mit zwei Llama-3-Modellen ausgewählte Strategien für Residency, Modellwechsel und Batch-Verarbeitung unter gemischten interaktiven und länger ausgelegten Workloads.Die Arbeit liefert einen Anforderungskatalog mit fallübergreifender Lücken-Matrix, eine strukturierte Karte wiederkehrender Lösungsfamilien, eine konzeptionelle Designgrundlage ("design lens") für institutionelle Forschungsumgebungen und eine begrenzte empirische Studie zu Residency- und Batch-Strategien auf einem Substrat. Ergebnisse, Gestaltungsimplikationen und Limitationen werden in den jeweiligen Kapiteln dargestellt.

Foundational AI models are increasingly used in research workflows. Universities and research institutions need to make these models accessible to researchers while operating them on shared and limited GPU infrastructure. This thesis studies how the life cycle management and deployment of foundational AI models can be organised in such settings. In this work, "life cycle management" covers the identity, onboarding, deployment variants and run records of callable model instances; it does not cover model training or fine-tuning. The work proceeds in three steps. First, a requirements catalogue and a comparative support/gap analysis are derived from an embedded multiple-case study of TU Wien (operator practice and research practice) and two European reference platforms (AI4OS and AI4Life). Second, the external solution space is mapped systematically across standards, tools, platforms and architectural patterns, and synthesised into a join-chain reference architecture together with candidate minimum institutional commitments. Third, an exploratory experimental study on a Slurm-based GPU substrate with two Llama-3 models examines selected residency, switching and batching policies under mixed interactive and longer-input workloads.The thesis contributes a requirements catalogue with cross-case gap matrix, a structured map of recurring solution families, a design lens for institutional research settings, and a bounded empirical study of residency and batching policies on one substrate. Results, design implications and limitations are reported in the corresponding chapters.