Investigation of techniques for collaboration in task-based crowdsourcing

Abstract

Aktuelle Crowdsourcing Systeme unterstützen nur ein sehr einfaches Arbeitsmodell. Das Interesse von Unternehmen auf der ganzen Welt, die höchst komplexe Arbeit mittels Crowdsourcing auslagern möchten, steigt dabei kontinuierlich. Deshalb ist es notwendig Konzepte zu entwickeln um die Integration komplexer Arbeit in Crowdsourcing Systeme zu ermöglichen. Dabei birgt die Integration von komplexer Arbeit eine Reihe von Herausforderungen, da komplexe Aufgabenstellungen im Allgemeinen nicht in Arbeitspakete teilbar sind, welche von einzelnen Personen unabhängig voneinander abgearbeitet werden können. Wir nutzen verschiedene Formen der Kollaboration um die Integration von komplexer Arbeit in Crowdsourcing Systeme zu ermöglichen. Wir modellieren komplexe Arbeit als sogenannte Composite Tasks. Ein Composite Task besteht aus einer Reihe von Teilaufgaben, welche Abhängigkeiten untereinander haben können. Diese Abhängigkeiten zeigen das Maß an Zusammenarbeit, welches nötig ist, um voneinander abhängige Teilaufgaben zu lösen. Ergänzend stellen wir ein Modell für ein Soziales Kollaborationsnetzwerk vor. Alle Arbeiter sind Teil dieses Netzwerks. Die Beziehungen zwischen Arbeitern im sozialen Netzwerk zeigen dabei, wie gut diese miteinander zusammenarbeiten können. Darauf aufbauend führen wir zwei Team-Strukturen, nämlich statische und dynamische Teams, ein. Unsere vorgestellten Konzepte werden in eine Simulationsumgebung für Crowdsourcing implementiert um eine Evaluierung zu ermöglichen. Wir führen eine Reihe von Auswertungen durch um Vor- und Nachteile der beiden Teamstrukturenaufzuzeigen. Die Ergebnisse der Evaluierung zeigen signifikante Unterschiede in der Anzahl der erfolgreich abgearbeiteten Aufgaben und der Qualität der erbrachten Arbeit in Abhängigkeit der Teamstruktur.<br />

Crowdsourcing, a distributed problem-solving model, is gaining more and more interest. Enterprises around the world show interest in using crowdsourcing systems to outsource work. Right now task-based crowdsourcing systems support only a very simple model work, a simple task. In general, a simple task is seen as an atomic unit of work, which is assigned to one single worker. However, the demands of enterprises to share more complex work are evident. The integration of complex work into task-based crowdsourcing leads to a number of challenges due the fact that complex work in general cannot be split into units of work, which can be assigned to a single worker.<br />In this thesis we introduce different techniques of collaboration, based on the integration of complex work to a task-based crowdsourcing system.<br />We model complex work as a composite task. A composite task has a set of sub-tasks; the sub-tasks can have dependency between each other, which show how much cooperation is needed to solve the dependent task. Besides the introduction of complex work to crowdsourcing, we introduce a social collaboration network. All workers are part of this collaboration network, ties between workers in this social network represent the fact how well two workers can work together. Further, we introduce two team structures, namely static and dynamic teams. The models of a composite task, the social collaboration network and the two team-based approaches are implemented in a task-based crowdsourcing simulation framework. We further perform an evaluation, based on the implementation of our concepts, to show the advantages and limitations of both team-based approaches. The evaluation results show significant differences between the quantity of performed tasks and the quality of the processed work depending on the team structure.