CommentSense : an on-device AI browser extension for real-time YouTube comment understanding

Abstract

YouTube, das zweitgrößte soziale Netzwerk mit über 2,5 Milliarden monatlichen Nutzern, steht vor erheblichen Herausforderungen im Bereich der Content-Moderation. In der ersten Jahreshälfte 2024 wurden mehr als 2,8 Milliarden Kommentare entfernt, wobei jedoch nur 2,1% hasserfüllte oder beleidigende Inhalte waren. Diese Diskrepanz verdeutlicht die Grenzen automatisierter Systeme und führt dazu, dass menschliche Moderatoren täglich mit den dunkelsten Seiten des Internets konfrontiert werden. Die Sentiment-Analyse von YouTube-Kommentaren bietet eine vielversprechende Lösung, indem sie es Nutzern ermöglicht, bewusst mit positivem, neutralem oder negativem Inhaltzu interagieren. Obwohl BERT-basierte Modelle wie DistilBERT-sst2 gute Ergebnisse liefern, ist unklar, ob sie von kleinen Sprachmodellen (Small Language Models, SLMs) übertroffen werden können—insbesondere, da SLMs Kontext besser einbeziehen und darüber hinaus erklären können, welche Inhalte für das Klassifikationsergebnis relevant waren.Diese Studie verfolgt einen Mixed-Methods-Ansatz, der mit einer Nutzerpräferenzstudie (prototypbasierte Interviews) beginnt, um erste Einblicke zu gewinnen. Darauf folgten ein Pilotversuch und eine umfassende Nutzerevaluation, einschließlich Umfragen, einem Aufgabenblatt und Interviews. Abschließend wurde eine Modellauswertung durchgeführt, um die Übereinstimmung der Modelle mit einer zuvor festgelegten menschlichen Ground-Truth-Basis zu beurteilen. Der Pilotversuch vor der Nutzerevaluation zeigte, dass Ansätze mit vordefinierten Filterkriterien, wie Gruppierung, Sortierung oder Hervorhebung von Kommentaren, schlecht aufgenommen wurden, da sie als wenig nützlich empfunden wurden. Stattdessen äußerten die Teilnehmer den Wunsch, eigene Filter setzen zu können und nur bei Bedarf zusätzliche Informationen über das automatisierte Labeling-System abzurufen. Basierend auf diesen Erkenntnissen wurden drei Browser-Erweiterungen zur Sentiment-Klassifikation entwickelt: Tool A (nutzt DistilBERT-sst2), Tool B (verwendet ein SLM mit vereinfachten Klassifikationen) und Tool C (nutzt ein SLM mit einem mehrstufigen Klassifikationssystem). In der Nutzerstudie wurden diese Tools miteinander verglichen, wobei das SLM-basierte Vorgehen in der Nutzerpräferenz konsistent besser abschnitt als DistilBERT-sst2. Dies lag vor allem daran, dass die SLMs die Klassifikationsentscheidungen begründeten. Diese Transparenz führte zu einem höheren Vertrauensgefühl gegenüber den SLM-basierten Tools bei den Nutzern. Darüber hinaus übertrafen 80% der bewerteten SLMs DistilBERT-sst2 in einer Zero-Context-Binärklassifikation auf dem YouTube-Kommentar-Datensatz, und 65% waren auch in kontextbasierten Binärklassifikationen überlegen. Insgesamt erzielten die leistungsstärksten Modelle höhere Macro-F1-Scores, wenn sie durch kontextuelle Informationen ergänzt wurden, und näherten sich so stärker der menschlichen Ground-Truth an.Durch den Einsatz lokal laufender SLMs bietet diese Forschung einen neuartigen Ansatz zur Reduzierung schädlicher Inhalte in sozialen Medien, während gleichzeitig die Nutzerautonomie erhalten bleibt—das heißt, die Nutzer können selbst entscheiden, welche Inhalte sie sehen möchten. Als Browser-Erweiterung birgt ein solches Tool großes Potenzial, Nutzer dazu zu befähigen gezieltere Online-Interaktionen zu haben.

YouTube, the second-largest social network with over 2.5 billion monthly users, faces significant challenges in content moderation. In the first half of 2024, over 2.8 billion comments were removed, but only 2.1% targeted hateful or abusive content. This gap highlights the limitations of automated systems, placing a heavy burden on human moderators who face the internets darkest content daily. Sentiment analysis of YouTube comments offers a promising solution, enabling users to consciously engage with positive, neutral, or negative content. While BERT-based models like DistilBERT-sst2 perform well, it remains unclear whether they can be outperformed by small language models (SLMs), especially given that SLMs are able to incorporate and reason about context, a potential benefit, when classifying YouTube comments. This study used a mixed-methods approach, beginning with a user preference study (prototype-based interviews) to gather initial insights. This was followed by pilot testing and a comprehensive user evaluation, including surveys, user tasks, and interviews. Finally, a model evaluation assessed thealignment of the models against a prior established ground truth. The user preference study prior to the user evaluation study showed that approaches with predefined filtering criteria, such as comment grouping, reordering, or highlighting, were poorly received because they were not considered useful. Instead, participants expressed a preference for setting their own filters to interact with an automated labeling system that only provides additional information when demanded. Based on these insights, three browser extensions for sentiment classification were developed: Tool A (uses DistilBERT-sst2), Tool B (uses an SLM with simplified classifications), and Tool C (uses an SLM with a multi-tier classification system). In the user evaluation study, these tools were compared, revealing that the SLM-based approach outperformed DistilBERT-sst2 consistently in user preference. This was primarily due to the SLMs ability to provide reasoning for classification decisions, offering higher perceived trustworthiness due to transparency. Additionally, 80% of the evaluated SLMs outperformed DistilBERT-sst2 in zero-context binary classification on the YouTube comment dataset, and 65% did so in context-based binary classification. Overall, the top-performing models achieved higher macro-F1 scores when augmented with contextual information, demonstrating closer alignment with human judgment. By employing locally running SLMs, this research offers a novel approach to reducing harmful content in social media while maintaining user agency—allowing users to decide what they see. As a browser extension, such a tool has high potential for empowering users and fostering healthier online interactions.