Design and evaluation of “Eureka” : a digital 6-3-5 brainwriting tool : impacts on creativity, participant engagement, and usability

Abstract

Obwohl digitale Werkzeuge für die Remote-Zusammenarbeit weit verbreitet sind, fehlt es ihnen oft an integrierter Unterstützung bei der Strukturierung von Ideen nach der initialen Brainwriting-Phase. Diese Masterarbeit umfasst das Design, die Implementierung und die Evaluation von Eureka, einem neuartigen webbasierten System, das die 6-3-5-Brainwriting- Methode unterstützt und ein Large Language Model (LLM) für das automatische Clustern von Ideen einsetzt. Es wurde eine Mixed-Methods-Studie im Rahmen von vier Online- Workshops mit 24 Teilnehmenden durchgeführt, bei der Daten mittels der System Usability Scale (SUS), der User Engagement Scale (UES-SF), unabhängigen Bewertungen der Cluster-Qualität durch Rater sowie qualitativem Feedback erhoben wurden. Die Ergebnisse zeigen, dass Eureka eine gute Usability-Bewertung mit einem mittleren SUS- Wert von 72.1 (SD = 8.4) erreichte, ein moderates Engagement der Teilnehmenden (M=3.18/5) förderte und dessen KI-generierte Cluster als kohärent (M=3.81/5), passend bezeichnet (M=3.85/5) und nutzbar (M=3.65/5) bewertet wurden. Diese Arbeit liefert empirische Evidenz für die Wirksamkeit von KI-gestützter Konvergenz, stellt Design- Richtlinien für zukünftige Kreativitätswerkzeuge bereit und bietet das Eureka-System als praktisches Artefakt. Für Entwickler*innen kollaborativer Systeme legen diese Ergebnisse nahe, dass die Integration von KI für die Ideen-Konvergenz eine vielversprechende Strategie ist.

While digital tools for remote collaboration are widespread, they frequently lack integrated support for structuring ideas after the initial brainwriting phase. To address that gap, this thesis presents the design, implementation, and evaluation of Eureka, a novel web-based system that facilitates the 6-3-5 brainwriting method and employs a Large Language Model (LLM) for automatic idea clustering. A mixed-methods study was conducted through four online workshops with 24 participants, gathering data via the System Usability Scale (SUS), the User Engagement Scale (UES-SF), independent rater assessments of cluster quality, and qualitative feedback. The findings demonstrate that Eureka achieved a good usability rating with a mean SUS score of 72.1 (SD = 8.4), promoted moderate participant engagement (M=3.18/5), and its AI-generated clusters were judged as coherent (M=3.81/5), well-labeled (M=3.85/5), and usable (M=3.65/5). This research contributes empirical evidence on the effectiveness of AI-driven convergence, provides design guidelines for future creativity support tools, and offers the Eureka system as a practical artifact. For designers of collaborative systems, these results suggest that integrating AI for convergence is a promising strategy.