Manual analysis and early identification of At-Risk students in programming courses

Abstract

The importance of and demand for experts in information technology (IT) has increased in the modern labor market in recent years. In order to ensure the supply of competent IT personnel, secondary schools and universities, such as the TU Wien, offer introductory programming courses. The literature shows that the failure rate is higher compared to other courses. There are several reasons for this, especially courses with many participants are hardly manageable without electronic aids. This master’s thesis mainly deals with this basic problem, which falls within the research area of „Educational Data Mining“. First and foremost, many educational institutions, including the TU Wien, already use well-established learning management systems such as Moodle, which are designed to simplify student data management. Moodle offers a wide range of storage, setting and analysis options. However, due to the standardized design of this digital platform, there is little room for configuration for advanced analyses. The aim of this master’s thesis is to create a prototype to enable an extended visual and statistical analysis in a university environment, which provides the basis for new findings in order to optimize the allocation of resources at educational institutions. Not only university employees benefit from the increased overview, but also students, for example through more intensive support. This prototype was developed based on requirements of course-leaders- a comparison of the current assessment and a quantitative analysis also showed the effectiveness of this prototype. Supplementary, a case study was used to determine the possibilities and limitations of the prototype. Finally, the system was defined very dynamically and documented in detail to enable further development, reproduction, and adaptation. It optimizes the decision-making process with additional information in order to ultimately train students more effectively in their programming knowledge and save resources accordingly

Die Bedeutung und Nachfrage von Experten in der Informationstechnologie (IT) hat in den letzten Jahren am modernen Arbeitsmarkt an Bedeutung gewonnen. Um nun das Angebot von kompetentem IT-Personal zu gewährleisten, bieten höhere Schulen und Universitäten, wie die Technische Universität Wien, einführende Programmierkurse an. Aus der Literatur geht hervor, dass verglichen mit anderen Kursen die Durchfallquote höher ist. Gründe dafür sind vielfältig, besonders Lehrveranstaltungen mit vielen Teilnehmer*innen sind ohne elektronische Hilfsmittel kaum überschaubar. Mit diesem Grundproblem beschäftigt sich diese Masterarbeit hauptsächlich, welches in den Forschungsbereich „Educational Data Mining“ fällt. In erster Linie verwenden viele Bildungsstätten, unter anderem die Technische Universität Wien, bereits wohletablierte Lern-Management-Systeme wie Moodle, die eine Datenverwaltung von Studierenden vereinfachen sollen. Moodle bietet eine Vielzahl von Speicher-, Einstellungs- und Analysemöglichkeiten an. Durch die standardisierte Gestaltung dieser digitalen Plattform, gibt es jedoch wenig Konfigurationsspielraum für erweiterte Analysen. Das Ziel dieser Masterarbeit ist es nun mit einem Prototyp eine erweiterte visuelle, sowie statistische Analyse in einem universitären Umfeld zu ermöglichen, welche die Basis für neue Erkenntnisse bietet, um somit die Ressourceneinteilung der Bildungsstätten zu optimieren. Vom erhöhten Überblick profitieren nicht nur Mitarbeitende einer Universität, sondern auch Studierende, durch beispielsweise intensivere Betreuung. Basierend auf Anforderungen von Leiter*innen einer Lehrveranstaltung wurde dieser Prototyp entwickelt – ein Vergleich der derzeitigen Einschätzung und einer quantitativen Analyse zeigte ebenso die Wirksamkeit des Prototyps. Mithilfe einer Fallstudie wurden die Möglichkeiten, sowie Grenzen des Prototyps ermittelt. Schließlich wurde das System sehr dynamisch definiert und ausführlich dokumentiert, um eine Weiterentwicklung, Reproduktion und Anpassung zu ermöglichen. Es optimiert den Prozess der Entscheidungsfindung mit zusätzlichen Informationen, um letztendlich Studierende in ihrem Programmierwissen effektiver auszubilden und ressourcensparend zu agieren.