Improving software engineering student grading using retrieval-augmented large language models

Abstract

Die Bewertung von Studierendenprojekten im Bereich des Software Engineering stellt für Lehrende eine anspruchsvolle Aufgabe dar. Verschiedene Aspekte wie Quellcode und Metriken aus agilen Entwicklungsprozessen sind für die Beurteilung relevant, liegen jedoch häufig in fragmentierten Datenquellen vor. Dadurch müssen Lehrende Zusammenhänge manuell rekonstruieren, was zu fehlendem Kontext führen und die Genauigkeit der Bewertung beeinträchtigen kann.Diese Arbeit adressiert dieses Problem mithilfe eines Retrieval-Augmented-Generation (RAG)-Systems, das Informationen zu Studierendenprojekten aus den verfügbaren Daten quellen abruft und in Form eines umfassenden Berichts aufbereitet. Ziel ist es, Lehrende bei der Bewertung zu unterstützen, indem der Suchaufwand reduziert und zusätzliche Einblicke in die Arbeit der Studierenden ermöglicht werden. Darüber hinaus wird der Einsatz eines solchen KI-Systems im Bildungskontext untersucht, um den Nutzen den potenziellen Risiken gegenüberzustellen. Die Erkenntnisse aus der Literaturrecherche und den Experteninterviews wurden genutzt, um einen RAG-Prototypen zu entwerfen. Dieser berücksichtigt die Informationsbedarfe von Studienassistent:innen in Form von Softwarequalitätsmetriken sowie architektonische Entscheidungen für RAG-Pipelines. Die Ergebnisse zeigen, dass die durch den RAG-Prototypen generierten Berichte verlässliche Zusammenfassungen der Studierendenprojekte liefern und sowohl Tutor:innen als auch Studienassistent:innen tiefere Einblicke ermöglichen. Zudem dienen die Berichte als geeigneter Ausgangspunkt und reduzieren den Zeitaufwand für die manuelle Informationssuche. Die Evaluation zeigt, dass Vertrauen und menschliche Überprüfung eine zentrale Rolle beim Einsatz von KI-Systemen im Bildungskontext spielen, um Risiken bewusst zu berücksichtigen. Insgesamt zeigt diese Arbeit die Eignung von RAG-generierten Berichten zur Unterstützung von Lehrenden bei der Bewertung von Studierendenprojekten.

Grading Software Engineering (SE) student projects is a challenging task for educators. Many aspects, including source code and agile process metrics, are relevant for assessment, but data is often fragmented across multiple sources. Hence, educators must manually reconstruct contextual relationships, which often leads to missing context and affects grading accuracy. This thesis addresses this issue by proposing a Retrieval Augmented Generation (RAG) system that retrieves information about student projects from available data sources and generates a comprehensive report to provide an overview of students’ work. This aims to support educators during assessment by reducing the effort required to search for information and providing more insights. Furthermore, the use of such an Artificial Intelligence (AI) system in education is examined to assess the benefits against potential risks. The insights from literature search and expert interviews are used to design a RAG prototype. This includes the assessment information needs of study assistants in the form of Software Quality Metrics (SQMs) and architectural choices for RAG pipelines. The findings indicate that reports generated by the RAG prototype provide faithful summaries of students’ group work, enabling both tutors and study assistants to gain greater insight. Furthermore, the reports serve as a good starting point, reducing the time required to manually search for information. The evaluation indicated that trust and human verification play a significant role in the use of AI systems in an educational context, ensuring awareness of introduced risks and appropriate handling. Overall, this thesis demonstrates the viability of supporting educators during assessment with RAG-generated reports.