Continuous analysis, monitoring, and comparison of student project portfolios in software engineering courses

Abstract

Die Nutzung von Daten aus Software Repositories hat in den letzten Jahren an Bedeutung gewonnen. Eine gute Gelegenheit, eine große Menge an Software Repositories zu analysieren, bieten die Projekte von Studierenden einer Softwareengineering-Lehrveranstaltung an der TU Wien. Da sich in einem Portfolio (einem Semester) ähnliche Projekte befinden, kann der Einsatz von Data Mining in einem akademischen Umfeld wertvolle Erkenntnisse für Lehrende und Betreuende liefern. Werkzeuge, die im universitären Kontext typischerweise zur Analyse von Software Repositories eingesetzt werden, haben meist einen individuellen Fokus: Einerseits unterstützen sie zum Beispiel die Überprüfung und Bewertung von Studierenden, andererseits steht die automatische Benotung der Studierenden im Mittelpunkt. Es besteht jedoch noch eine Nische für eine Lösung, um eine fundierte Entscheidungsgrundlage bieten zu können, die grundlegende Visualisierungs- sowie fortschrittliche, kontinuierliche Analysefunktionen kombiniert. In dieser Arbeit wird der Einsatz von Data Mining für Software Repositories in Kombination mit Datenvisualisierung in einem universitären Umfeld vorgestellt, um die derzeitige Lücke in diesem Bereich zu schließen. Das Ziel der Arbeit ist es, mithilfe eines Prototyps für die kontinuierliche Analyse, Überwachung und den Vergleich von Software Repositories, ein datengestütztes Werkzeug zu schaffen, um eine Verbesserung der Qualität der Lehre im Bereich des Softwareengineerings zu ermöglichen. Hypothesen und Anforderungen für die Unterstützung der Lehre wurden aus den Limitierungen bestehender Forschungsprojekte an der TU Wien abgeleitet. Basierend auf den Anforderungen wurden zunächst Mockups erstellt und auf deren Nutzen evaluiert, parallel dazu wurden die Hypothesen mit dem Informationsbedarf der Experten abgeglichen. Die Ergebnisse und Rückmeldungen aus der ersten Interviewrunde flossen weiters in die finale Umsetzung ein. Abschließend bestätigten fünf Fachleute in der Evaluierung des Prototyps die Gültigkeit der Hypothesen. Das System ist daher geeignet, datenbasierte Einblicke zu gewähren. Es ermöglicht Lehrenden und Betreuenden, die Leistungen ihrer Studierenden objektiver zu bewerten und zu verstehen. Damit liefert es wertvolle Erkenntnisse für die Lehre im Bereich des Softwareengineerings.

The use of data from software repositories has gained significant attention in recent years. Student projects of a software engineering class at TU Wien represent a unique opportunity to analyze a large amount of software repositories. Having various similar projects within one portfolio (one term), the use of data mining in an educational setting can provide valuable insights for lecturers and supervisors. Tools commonly used in the academic context for analyzing software repositories tend to have a specialized focus. On the one hand, for example, they support inspection and assessment of students. On the other hand, tools also center on grading students automatically. However, the niche for a solution which combines basic visualization and advanced continuous analysis capabilities to assist in making informed decisions, has not yet been filled. This thesis suggests the use of software repository data mining in combination with data visualization in a university setting to address the current gap in this area. The primary objective is to prototype a data-driven tool for continuous analysis, monitoring, and comparison of software repositories, with the goal of enhancing the quality of teaching in the field of software engineering. Existing research projects at the TU Wien were analyzed to derive hypotheses and requirements for support in the context of a university class. Based on the requirements, in a first step, mock-ups for the prototype were created and their practicality evaluated. At the same time the hypotheses were verified by the experts to determine their information needs. The results and feedback from the first round of interviews were incorporated into the prototype and its visualizations. Finally evaluating the prototype, five experts confirmed the validity of the hypotheses. The findings demonstrate that the system is appropriate for facilitating data-driven insights. It enables lecturers and supervisors to assess and comprehend the performance of their students more objectively. As a result, the system provides valuable intelligence in a software engineering education setting.