Differential testing of static taint analysis tools

Abstract

Static taint analysis tools are essential for the automatized identification of potential security vulnerabilities and enabling their remediation before software is released. They can be used to check if the information flow in a program contains flows from specific data sources to functions deemed problematic. But as any software, these tools themselves might contain bugs that could probably lead to incorrect analysis results. In this thesis we present our tool FlowFuzz that generates random test cases which are automatically applied to static taint analysis tools using differential testing. As this has not been done before, the tool represents the main contribution of this thesis. Our experimental evaluations confirm the effectiveness of our approach as FlowFuzz already uncovered issues in three different static taint analysis tools.

Statische Taint-Analyse-Werkzeuge spielen eine wichtige Rolle bei der automatisierten Identifikation von potenziellen Sicherheitslücken in Software und unterstützen die rechtzeitige Behebung dieser Schwachstellen vor der Veröffentlichung. Diese Werkzeuge überprüfen, ob ein Programm Informationsflüsse von bestimmten Datenquellen zu als sensibel eingestuften Funktionen enthält. Wie jede Software können jedoch auch Statische Taint-Analyse-Werkzeuge selbst Bugs enthalten, welche möglicherweise zu fehlerhaften Analyseergebnissen führen. In dieser Arbeit präsentieren wir unser Tool FlowFuzz, das zufällige Testdaten generiert und diese zum differentiellen Testen von Statischen Taint-Analyse-Werkzeugen verwendet. Da bisher kein ähnlicher Ansatz in diesem Bereich bekannt ist, stellt FlowFuzz den Hauptbeitrag dieser Arbeit dar. Unsere experimentellen Auswertungen bestätigen die Effektivität unserer Herangehensweise, da FlowFuzz bereits Probleme in drei verschiedenen Statischen Taint-Analyse-Werkzeuge finden konnte.