Transformer-based Mobile Malware Detection under Concept Drift

Abstract

This thesis investigates the robustness of learning-based Android malware detection under concept drift: both malware and goodware applications evolve continuously, so a oncetrained classifier steadily loses detection performance as the applications it encounters drift further from its training data. A bias-aware and temporally consistent transfer study on a budgeted subsample of the Hypercube dataset shows that DetectBERT, a recent transformer-based detector representing the state of the art in this field, departs substantially from its published near-perfect results: the reported F1-score of 0.97 does not transfer, and evaluation with the released code instead yields a support-weighted F1-score of 0.7868. The majority goodware class dominates this value and masks the weak detection of the target malware class, whose F1-score is only 0.2238, with more than five false alerts for every true malware detection. The reference systems Drebin and DeepDrebin, trained and evaluated under the same protocol, achieve malware F1-scores of 0.5793 and 0.5462. This challenging evaluation setting is therefore tractable in principle; the bias-aware protocol alone cannot explain DetectBERT’s severe performance loss.Building on this finding, this thesis develops a novel detection system called DeJAM: Android applications are decompiled, their Java methods are embedded using the transformer-based GraphCodeBERT model, and Multiple Instance Learning aggregates these embeddings into an application-level decision. In a separate, substantially larger comparison spanning more than 26,000 test applications, DeJAM is evaluated against Drebin and DeepDrebin on identical data, with the stochastic systems trained repeatedly in a prespecified campaign. The outcome is consistent rather than marginal: DeJAM detects malware from the temporally held-out 2023 test year better than both baselines in every single run and at every operating point examined. At the validation-selected threshold, DeJAM reaches a malware F1-score of 0.6488 against 0.5692 and 0.5418; its threshold-free PR-AUC stands at 0.7410 against 0.6536 and 0.6976. At the same time, DeJAM loses no more performance across the transition into the drifted test year than the most stable baseline. Over the single temporal transition observed here, the integrated pipeline therefore emerges as a promising approach to malware detection under concept drift. Together, the two studies show that methodological rigor and progress are not at odds: even under a fully bias-aware protocol, substantial improvements over established detectors remain achievable, and precisely such measurement gives them meaning.

Diese Masterarbeit untersucht die Robustheit lernbasierter Android-Malware-Erkennung unter Concept Drift: Schadsoftware wie auch gutartige Anwendungen verändern sich fortlaufend, sodass ein einmal trainierter Klassifikator mit wachsendem zeitlichen Abstand zu seinen Trainingsdaten stetig an Erkennungsleistung verliert. Eine verzerrungsbewusste(bias-aware), zeitlich konsistente Transferstudie auf einem Subsample des Hypercube-Datensatzes zeigt für DetectBERT, ein aktuelles Transformer-Verfahren auf dem Standder Technik, eine deutliche Diskrepanz zu den veröffentlichten, nahezu perfekten Ergebnissen: Der publizierte F1-Score von 0,97 überträgt sich nicht; die Auswertung mit dem Originalcode ergibt stattdessen 0,7868 (nach Klassenhäufigkeit gewichtet). Die Mehrheitsklasse Goodware dominiert diesen Wert und verdeckt, dass die Zielklasse Malware nur einen F1-Score von 0,2238 erreicht, bei mehr als fünf Fehlalarmen pro korrekter Erkennung. Die im selben Protokoll trainierten Referenzsysteme Drebin und DeepDrebin erreichen Malware-F1-Werte von 0,5793 bzw. 0,5462. Dieses Szenario ist also grundsätzlich lösbar; das Protokoll allein erklärt DetectBERTs starken Einbruch nicht.Darauf aufbauend entwickelt diese Arbeit mit DeJAM ein neuartiges Erkennungsverfahren:Android-Anwendungen werden dekompiliert, ihre Java-Methoden mit dem Transformer-Modell GraphCodeBERT in Embeddings überführt und mittels Multiple Instance Learning zu einer Entscheidung je Anwendung aggregiert. In einem zweiten, deutlich größeren Vergleich auf über 26.000 Testanwendungen tritt DeJAM auf identischen Daten gegen Drebin und DeepDrebin an; die stochastischen Systeme werden dabei in einer vorabfestgelegten Kampagne mehrfach trainiert. Das Ergebnis ist durchgängig: DeJAM erkennt die Schadsoftware des zeitlich getrennten Testjahres 2023 in jedem einzelnen Lauf und an jedem untersuchten Operating Point besser als beide Baselines. An der validierungsoptimalen Schwelle erreicht DeJAM einen Malware-F1-Score von 0,6488 gegenüber 0,5692 und 0,5418; die schwellenunabhängige PR-AUC liegt bei 0,7410 gegenüber 0,6536 und 0,6976. Zugleich büßt DeJAM beim Übergang in das Testjahr nicht mehr Leistung einals die stabilste Baseline. Über den einen beobachteten Zeitübergang hinweg erweist sich die integrierte Pipeline damit als vielversprechender Ansatz zur Malware-Erkennung unter Concept Drift. Zusammen zeigen die beiden Studien, dass methodische Strenge und Fortschritt kein Widerspruch sind: Auch unter einem vollständig verzerrungsbewussten Protokoll sind deutliche Verbesserungen gegenüber etablierten Detektoren erreichbar,und erst eine solche Messung verleiht ihnen Aussagekraft