A simulation framework for task-based crowdsourcing with auctions

Abstract

Unter Task-Based Crowdsourcing versteht man die Auslagerung einer Aufgabe (Task) an eine Menge von unbekannten Akteuren (Crowd) unter Zuhilfenahme von Webtechnologien. Die Crowd bearbeitet die Aufgabe und stellt ein Ergebnis bereit. Plattformen, die dieses Service anbieten sehen sich mit verschiedenen Herausforderungen konfrontiert, insbesondere die Berücksichtigung von Qualitätsunterschieden der bearbeiteten Tasks sowie die Erzielung des für alle Beteiltigten höchst möglichen Nutzens durch eine angemessene Aufgabenverteilung. Auktionen stellen hierbei einen interessanten Ansatz dar, der in der Fachliteratur in diesem Zusammenhang bisher noch nicht eingehend analysiert wurde. Das Testen und Evaluieren neuer Ansätze kann als eine weitere Herausforderung identifiziert werden, zumal der Zugang zu "echten" Daten oftmals mit Schwierigkeiten verbunden ist.<br />In dieser Masterarbeit wird zunächst ein hochgradig konfigurierbares, modulares und erweiterbares Simulations-Framework vorgestellt, welches dem Ansatz der Agenten basierten Modellierung folgt. Das Framework unterstützt dabei aktuelle Qualitätsmanagement-Methoden (basierend auf einem "Skill Profiling" Modul) und verschiedene Auktionsmechanismen (zur Verteilung der Aufgaben). Anschließend wird die Eignung verschiedener Auktionsmechanismen für diverse Crowdsourcing-Szenarien untersucht.<br />Darüber hinaus werden drei Standard- Auftragsauktionen (Reverse Auctions) und eine Double Auction einem Vergleich unterzogen. In Hinblick auf die Auswertung von Qualität, Taskverteilung und Profit erzielt die Reversed Sealed-Bid Auktion in Summe die besten Resultate.<br />Im Vergleich zu den Standard Auktionsmechanismen, liefert die Continous Double Auction in den meisten Kategorien etwas bessere Ergebnisse. Zudem wurden drei verschiedene Qualitätsmanagement-Methoden einer Analyse unterzogen. Dabei kann festgehalten werden, dass die Verwendung einer Auktion, die die Aufgaben den qualifiziertesten Usern zuteilt, die höchsten Qualitätswerte erzielt.<br />

Crowdsourcing describes a model for distributed online problem solving harnessing the creative solutions as well as the scalability and availability of the distributed network of individuals. A popular way of crowdsourcing where one can outsource a task to a crowd and receives a result in reasonable time is referred to as task-based crowdsourcing (TBCS). A multitude of different TBCS platforms is currently available.<br />However, they have to cope with certain challenges. Firstly, they have to address the issue of the varying quality of user-processed tasks and secondly, they have to find solutions for distributing tasks in a way that all stakeholders get the highest attainable benefit. For the latter, the use of auctions as a means of task distribution seems to be an interesting approach, which has not been discussed in related literature yet. Another challenge in TBCS is the difficulty of testing and evaluating new approaches due to the scarcity of "real" data for evaluations.<br />The contribution of this thesis is twofold. Firstly, we address the lack of an appropriate simulation framework for task-based crowdsourcing and come up with a solution. We introduce a highly configurable, modular and extensible framework which is grounded on an agent-based modeling approach. The framework supports state of the art quality management methods based on a skill profiling module and various auction mechanisms to simulate task distribution methods. Secondly, we discuss the suitability of different auction types for various crowdsourcing scenarios. By means of the simulation framework, we simulate five different scenarios and compare three reversed standard auction types (sealed-bid, Dutch, English) and one double auction type (continuous double auction) with each other. Based on the analysis of quality, task distribution and payoff we find that among the standard auction types, the sealed-bid auction provides the most balanced results, whereas in comparison to the double auction market, the latter provides slightly better results in most categories. We have further analyzed three different quality management methods and come to the conclusion that the best quality can be achieved by using an auction mechanism that matches the task to the best suited worker. The most balanced approach, however, is to use a qualification policy.