Using MapReduce in education and the development of tools for this purpose

Abstract

Durch immer größer werdende Mengen an Daten, die täglich verarbeitet werden, steigt der Bedarf an effizienten Programmen immer mehr. Über die letzten Jahre hinweg wurde eine Vielzahl an Frameworks entwickelt, um die Programmierung zu vereinfachen, aber auch um die ewige Neu-Erfindung des Rades bei verbreiteten Problemen zu verhindern. MapReduce ist eines dieser Frameworks, welches zunehmend Beachtung von sowohl der Wissenschaft als auch der Wirtschaft bekommt. Durch seine Funktionsweise kann MapReduce auch benutzt werden um, Parallelität und Abstraktion zu unterrichten. Ein Nachteil der meisten MapReduce-Frameworks ist, dass sie nur für große Cluster und nicht für Schulen mit kleiner IT-Infrastruktur entwickelt worden sind. Als Konsequenz daraus sind die Möglichkeiten der Vermittlung der Konzepte hinter MapReduce stark eingeschränkt. Ein weiteres Problem ist, dass es nur wenige bis keine frei zugänglichen Kurse zum Thema MapReduce gibt. Das meiste an verfügbaren Materialien ist auf erfahrene Programmierer ausgerichtet, welche schon ein breites Verständnis einer Programmiersprache wie Java besitzen, und nicht, wie wünschenswert, auf Programmieranfänger zugeschnitten. Die vorliegende Arbeit diskutiert in einem ersten Schritt Lerntheorien und deren Relevanz für die Vermittlung von MapReduce. Die gewonnen Erkenntnisse werden dann verwendet, um Kriterien für ein Framework, welches im Unterricht eingesetzt werden kann, aufzustellen. Im Anschluss wird ein MapReduce-Framework präsentiert, welches darauf ausgerichtet ist im Schulunterricht verwendet zu werden. Zusätzlich werden einige Unterlagen für einen Kurs zum Thema MapReduce vorgestellt.

With growing amounts of data being processed efficient programs become more and more important. Over the last decade new frameworks have been developed to ease programming and avoid repetitive solutions to common problems. MapReduce is one of these frameworks which also received growing interest both in academic research as well as in commercial applications. Due to its structure MapReduce can also be used when teaching parallelism and abstraction in a computer science class. One downside of MapReduce-frameworks is that they are currently mainly available for large clusters rather than schools with small IT-infrastructure or private end users. This results in missing possibilities for teaching the key concepts behind MapReduce. Another problem is the lack of courses publicly available for studying MapReduce. Most of the material on hand targets experienced programmers with deeper knowledge of a certain programming language such as Java. This thesis first examines learning theories on their relevance for being used to teach MapReduce. The insights gained are then used in order to reason about criteria for a good framework in the context of teaching MapReduce. The thesis then presents a MapReduce-framework which is targeted to be used in schools for teaching programming novices. Additionally, some course material for a course on MapReduce is provided.