Mining and verification of mobile app store privacy labels : a comparative study of Huawei AppGallery and google play store

Abstract

Datenschutzlabels sollen Nutzerinnen und Nutzern helfen, fundierte Entscheidungen über die Installation von Apps und die Weitergabe ihrer Daten zu treffen. Sie können diesen Zweck jedoch nur erfüllen, wenn sie Datenpraktiken von Apps korrekt und konsistent beschreiben. Um zu beurteilen, wie verlässlich diese Offenlegungen in der Praxis sind, vergleicht diese Arbeit die Datenschutzlabels funktional äquivalenter Apps in der Huawei AppGallery und im Google Play Store. Dazu erstellen wir umfangreiche Datensätze für beide Stores, die 80,064 Huawei-Apps und 112,814 Google-Play-Apps umfassen, erfassen Datenschutzlabel-Informationen durch Web Scraping und Request-Interception und identifizieren 2,839 storeübergreifende App-Paare mithilfe eines metadatenbasierten Matchings. Wir vergleichen die Datenschutzlabels sowohl auf struktureller Ebene als auch auf App-Ebene, wobei wir die App-Ebenen-Analyse auf jene 1,527 Paare beschränken, für die beide Stores nicht-leere Labels bereitstellen. Ergänzend zur storeübergreifenden Untersuchung führen wir eine longitudinale Analyse von 5,754 Huawei-AppGallery-Apps über sieben monatliche Snapshots von September 2025 bis März 2026 durch. Die Ergebnisse zeigen erhebliche storeübergreifende Unterschiede. Unter den 1,527 vergleichbaren App-Paaren beträgt der durchschnittliche Data-Item-Match-Score 55,22%. Nur 32 Paare (2,10%) erreichen eine perfekte Übereinstimmung, und 185 Paare (12,12%) zeigen keinerlei Überschneidung auf Data-Item-Ebene. Für diese App-Paare mit nicht-leeren Labels in beiden Stores weisen 92,34% mindestens ein Data-Item auf, das nur im Google Play Store offengelegt wird, 75,11% mindestens ein Data-Item, das nur in der Huawei AppGallery offengelegt wird, und 69,55% Diskrepanzen in beiden Richtungen. Die longitudinale Analyse zeigt dagegen graduelle Veränderungen: Von 34,524 Monat-zu-Monat-Vergleichen zeigen nur 1% eine Änderung auf Kategorieebene. Unsere Ergebnisse verdeutlichen, dass Datenschutzlabels bislang kein verlässliches und konsistent gepflegtes Transparenzinstrument darstellen. Damit sie als zuverlässiges Werkzeug für Nutzerinnen und Nutzer, Forschende und Regulierungsbehörden dienen können, bedarf es stärkerer Validierungs- und Verifikationsmechanismen in App Stores.

Privacy labels aim to help users make informed decisions about app installation and data sharing, but they can only serve this purpose if they accurately and consistently describe app data practices. To assess how reliable these disclosures are in practice, this thesis compares the privacy labels of functionally equivalent apps across Huawei AppGallery and the Google Play Store. We build large-scale datasets for both stores, comprising 80,064 Huawei apps and 112,814 Google Play Store apps, collect privacy label information through web scraping and request interception, and identify 2,839 cross-platform app pairs through metadata-based matching. We compare privacy labels at both the structural and app level, restricting the app-level analysis to the 1,527 pairs for which both stores provide non-empty labels. We complement the cross-platform study with a longitudinal analysis of 5,754 Huawei AppGallery apps across seven monthly snapshots from September 2025 to March 2026. Our results reveal substantial cross-platform disagreement. Among the 1,527 comparable app pairs, the average data item match score is 55.22%. Only 32 pairs (2.10%) achieve a perfect match, and 185 pairs (12.12%) show no mapped data item overlap at all. For these app pairs with non-empty labels in both stores, 92.34% contain at least one data item disclosed only on the Google Play Store, 75.11% contain at least one data item disclosed only on Huawei AppGallery, and 69.55% exhibit discrepancies in both directions. The longitudinal analysis shows more gradual change: across 34,524 month-to-month comparisons, only 1% show any category-level change. Taken together, our findings show that privacy labels still fall short of serving as reliable and consistently maintained transparency tools. Stronger validation and verification mechanisms are needed if privacy labels are to serve as trustworthy tools for users, researchers, and regulators.