Reflective Prompts for Young Adults' Critical Engagement with News on Social media

Abstract

Junge Erwachsene begegnen nachrichtenbezogenen Inhalten zunehmend über Short-Form-Social-Media-Plattformen wie TikTok, auf denen Nachrichten, Unterhaltung und persönliche Inhalte innerhalb derselben Scroll-Erfahrung erscheinen. Dies kann es erschweren, verlässliche Informationen von irreführenden Inhalten zu unterscheiden, und kann passiven Konsum oder unkritisches Teilen begünstigen. Kritische Auseinandersetzung direkt innerhalb solcher Interfaces zu unterstützen, ist daher eine wichtige Herausforderung für Human-Computer Interaction (HCI) und Medienkompetenzforschung.Diese Masterarbeit untersucht, wie reflektierende Prompts gestaltet und in eine TikTok-ähnliche Anwendung integriert werden können, um die kritische Auseinandersetzung junger Erwachsener mit nachrichtenbezogenen Inhalten zu unterstützen. Dafür wurde ein zweiphasiger nutzerzentrierter Designansatz verwendet: In einem explorativen Workshop wurde ein Pool reflektierender Prompts weiterentwickelt, und ein funktionaler Prototyp wurde in einer Hauptstudie mit 20 jungen Erwachsenen evaluiert. Dabei wurden In-App-Messungen, Fragebögen einschließlich ausgewählter NMLS-bezogener Maße und des Cognitive Reflection Test sowie Interviews nach der Studie eingesetzt.Die quantitativen Ergebnisse zeigten, dass die Genauigkeit der Wahrheitsurteile in der Interventionsbedingung höher war, in der die Prompts vor den verpflichtenden Fragen angezeigt wurden, als in der Kontrollbedingung, in der die Teilnehmenden nur die verpflichtenden Fragen beantworteten. Die Bereitschaft, Fake-Posts zu teilen, war in der Interventionsbedingung deskriptiv niedriger, erreichte in den zweiseitigen Tests jedoch keine statistische Signifikanz. Die ausgewählten news-media-literacy-bezogenen Fragebogenmaße verbesserten sich von der Vor- zur Nachmessung nicht; Media Motivation nahm ab, während Media Locus of Control keine verlässliche Veränderung zeigte. CRT-Werte standen nicht verlässlich mit promptbezogenen Veränderungen der Teilabsicht oder mit Prompt-Engagement in Zusammenhang.Die qualitativen Ergebnisse zeigten, dass die Teilnehmenden die Prompts als hilfreich erlebten, um einen Moment der Reflexion zu schaffen. Die Teilnehmenden berichteten, stärker über Quellencredibility, fehlenden Kontext, emotionale Rahmung und Konsequenzen des Teilens nachgedacht zu haben. Gleichzeitig zeigten die Interviews, dass Reflexion nicht immer in korrekte Wahrheitsurteile oder verändertes Teilverhalten übersetzt wurde. Die Teilnehmenden hatten häufig nicht genug Kontext, um kurze Videos sicher zu beurteilen, und äußerten den Wunsch nach Unsicherheitsoptionen wie „Ich weiß es nicht“ oder Konfidenzbewertungen.Insgesamt liefert diese Masterarbeit Evidenz dafür, dass reflektierende Prompts eine momentane kritische Evaluation in Short-Form-Nachrichtenumgebungen unterstützen können. Sie reichen jedoch nicht als eigenständige Werkzeuge aus, um Teilverhalten oder breitere medienkompetenzbezogene Einstellungen zu verändern. Ihr Wert liegt darin, situierte Reflexion anzuleiten, wenn sie als kontextsensitive, unsicherheitsbewusste Unterstützung gestaltet werden, die Quelleninformationen, kontextuelle Evidenz und Verifikation ergänzt, aber nicht ersetzt.

Young adults increasingly encounter news-related content through short-form social media platforms such as TikTok, where news, entertainment, and personal content appear in the same scrolling experience. This can make it difficult to distinguish reliable information from misleading content and may encourage passive consumption or uncritical sharing. Supporting critical engagement directly within such interfaces is therefore an important challenge for human-computer interaction (HCI) and media literacy research.This thesis investigates how reflective prompts can be designed and integrated into a TikTok-like application to support young adults' critical engagement with news-related content.A two-phase user-centered design approach was used: an exploratory workshop refined a pool of reflective prompts, and a functional prototype was evaluated in a main study with 20 young adults using in-app measures, questionnaires including selected NMLS-related measures and the Cognitive Reflection Test, and post-study interviews.The quantitative results showed that truth-judgment accuracy was higher in the intervention condition, where prompts were shown before the mandatory questions, compared to the control condition, where participants answered only the mandatory questions. Fake-post sharing intention was descriptively lower in the intervention condition, but this reduction did not reach statistical significance in the two-tailed tests. The selected news media literacy-related questionnaire measures did not improve from pre to post; Media Motivation decreased, while Media Locus of Control showed no reliable change. CRT scores were not reliably associated with prompt-related changes in sharing intention or prompt engagement.The qualitative findings showed that participants experienced the prompts as useful for creating a moment of reflection. Participants reported thinking more about source credibility, missing context, emotional framing, and sharing consequences. However, the interviews also showed that reflection did not always translate into accurate truth judgments or changed sharing behavior. Participants often lacked enough context to judge short videos confidently and expressed a need for uncertainty-aware response options such as "I don't know" or confidence ratings.Overall, this thesis contributes evidence that reflective prompts can support momentary critical evaluation in short-form news environments. However, they are not sufficient as standalone tools for changing sharing behavior or broader media literacy-related attitudes. Their value lies in guiding situated reflection when designed as context-sensitive, uncertainty-aware supports that complement, rather than replace, source information, contextual evidence, and verification.