Mayrgündter, C. (2026). Evaluating Code Generation Models for Academic Use: A Comparative Study on Output Quality and Student Utility [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2026.140540
E194 - Institut für Information Systems Engineering
-
Date (published):
2026
-
Number of Pages:
146
-
Keywords:
human pose estimation; multi-view 3D human pose estimation; 3D pose reconstruction; sports analytics; sports biomechanics; combat sports
en
Abstract:
Generative künstliche Intelligenz hat große Auswirkungen auf viele Bereiche, darunter auch die Software Entwicklung sowie die universitäre Lehre in ebendiesem Bereich. Das Hauptziel dieser Arbeit bestand darin, zu ermitteln, ob verschiedene generative KI-Modelle eine Anwendung erstellen können, die den Software-Engineering-Standards eines Bachelor-Studiengangs entspricht. Um dies zu beurteilen, wurden die generierten Anwendungen auf zwei Arten bewertet: Erstens durch die Analyse ihrer Funktionalität, Codequalität und Ressourcenverwendung während des Generierungsprozesses. Die Ergebnisse dieser Analyse wurden anschließend mithilfe einer multikriteriellen Entscheidungsanalyse verglichen. Und zweitens wurde getestet, ob ein fiktiver Student die generierte Lösung als seine eigene ausgeben und den Kurs bestehen könnte.Aus beiden Analysen ging Anthropics Claude als das eindeutig beste Modell hervor. xAIs Grok und Cursors Auto schafften es, Anwendungen von mittelmäßiger Qualität zu generieren, die dennoch ausreichten, um die Lehrveranstaltung zu bestehen. Googles Gemini produzierte ebenfalls eine mittelmäßige Anwendung, erfüllte jedoch nicht die Anforderungen zum Bestehen. OpenAIs ChatGPT, das einen zentralen Teil der Anwendung nicht implementieren konnte, lieferte die schlechteste Leistung.
de
Generative artificial intelligence has a huge impact on countless fields, including the domain of software engineering and higher education. This thesis focuses on the connection between these two fields. The main goal of this thesis was to determine whether different generative AI models can produce an application that meets the software engineering standards of an undergraduate university course. To assess this, the generated applications were evaluated in two ways: First, by analyzing their functionality, code quality, and resource utilization during the generation process. The results of this analysis were then compared using a multi-criteria decision-making approach. And second, by testing whether a fake student could use the generated solution as their own and pass the course.From both analyses, Anthropic's Claude emerged as the clear best model. xAI's Grok and Cursor's Auto managed to generate applications of mediocre quality that were still sufficient to pass the lecture. Google's Gemini also produced a mediocre application, but it failed to meet the requirements to pass. OpenAI's ChatGPT, which failed to implement a central part of the application, delivered the worst performance.
en
Additional information:
Arbeit an der Bibliothek noch nicht eingelangt - Daten nicht geprüft Abweichender Titel nach Übersetzung der Verfasserin/des Verfassers