Crowdsourced evaluation of web-Based robot programming environments by the example of ‚assembly'

Abstract

Eine neue Welle von kollaborativen Robotern, die für die Zusammenarbeit mit Menschen konzipiert sind, bringt die Automatisierung, die in der Vergangenheit in großindustriellen Umgebungen zu beobachten war, in neue, vielfältige Kontexte\cite{weintrop2018evaluating}. Die Forschung hat jedoch gezeigt, dass sich die Innovationslücke zwischen Roboterhardware und -software nicht zu schließen scheint - die Hardwareentwicklung hat ein extrem hohes Niveau erreicht. Im Gegensatz dazu blieb die Software auf dem Niveau der Programmiersprachen aus den frühen 1990er Jahren, die fast nur unter Ingenieuren bekannt sind, recht rudimentär. Infolgedessen erfahren die neuesten Robotertechnologien keine hohe Akzeptanz oder gar Anerkennung durch den größten Teil des Publikums ohne Ingenieursprofil. Das Hauptziel dieser Arbeit ist es, die Bewertung der Benutzerfreundlichkeit von Roboterprogrammierumgebungen zu verbessern, indem eine Methodik entwickelt wird, mit der die Erstellung und Durchführung von Crowdsourced-Evaluierungen schnell und mit möglichst geringen Kosten durchgeführt werden kann, was zu einer höheren Akzeptanz der Benutzergruppen insgesamt führt. Mit unserem Ansatz evaluieren wir dann 'Assembly'\cite{assembly}, eine webbasierte Roboterprogrammierumgebung, die an der TU Wien als Teil eines öffentlich geförderten Forschungsprojekts namens CoMeMak\cite{comemak} entwickelt wurde, zu dem auch diese Arbeit gehört.

A new wave of collaborative robots designed to work alongside humans is bringing the automation historically seen in large-scale industrial settings in new, diverse contexts\cite{weintrop2018evaluating}. However, the research has shown that the innovation gap between robot hardware and software doesn't seem to close- the hardware development reached extremely high levels. In contrast, the software side remained quite rudimentary at the level of programming languages from the early 1990s, known almost exclusively among engineers. Consequently, the newest robotic technologies don't experience high acceptance levels or even recognition from the biggest part of the audience without engineering profiles.The main goal of this thesis is to improve robot programming environments usability evaluation by developing a methodology such that creating and executing crowdsourced evaluation can be done quickly and with the lowest cost possible, resulting in higher user acceptance overall user groups. With our approach, we then evaluate 'Assembly'\cite{assembly}, a web-based robot programming environment developed at TU Wien as a part of a publicly-funded research project called CoMeMak\cite{comemak}.