Entropy-steering : a lookahead approach to high-capacity generative linguistic steganography

Abstract

Generative linguistische Steganographie bezeichnet die Praxis, eine geheime Nachricht in den von einem großen Sprachmodell generierten Tokens zu verbergen, um einen Text zu senden, der bei Beobachtern keinen Verdacht erregt. Aktuelle Methoden der generativen linguistischen Steganographie maximieren die Einbettungskapazität (Bits der geheimen Nachricht pro Ausgabetoken) myopisch, Token für Token, anstatt global auf Sequenzebene. Die Einbettungskapazität pro Token ist mathematisch nach oben durch die Entropie der Wahrscheinlichkeitsverteilung des Tokens beschränkt, doch diese Verteilungen sind selbst eine Funktion aller vorangehenden Tokens, eine Tatsache, die bestehende Methoden nicht ausnutzen. Diese Arbeit führt eine neue Klasse von Methoden ein, die als Entropie-Steuerungsmethoden bezeichnet werden und gezielt bestimmte Tokens auswählen, um die Ausgabe in Richtung hochentropischer Verteilungen zu lenken und so die Kapazität der gesamten Sequenz zu maximieren. Eine dieser Methoden, die die ersten mm m Tokens verwendet, um den Rest der Sequenz zu steuern, wird als First-m-Steering bezeichnet. Empirisch erzielte First-m-Steering mit Zufallssuche Verbesserungen gegenüber der Baseline mit bereits 6 Kandidaten-Samples pro Stego-Text, was zeigt, dass die Kapazitätskosten der Steuerung relativ gering sind. First-m-Steering ermöglichte empirisch einen medianen Kapazitätsgewinn von 13% mit einer Brute-Force-Suche bei m=2 innerhalb einer Verteilungstrunkierung auf die 5 wahrscheinlichsten Tokens, verglichen mit einer Baseline, die denselben Einbettungsalgorithmus ohne Steuerungstokens verwendet. Die Experimente zeigen einen Mangel an Korrelation zwischen der Entropie der ersten m Verteilungen und der Gesamtkapazität, was die Möglichkeit ausschließt, die anfängliche Entropie als frühen Proxy für Baumsuchheuristiken zu verwenden, und die Zufallssuche als Arbeitsbasis rechtfertigt. Die Sicherheit wurde gegen ein LLM-basiertes Steganalysemodell evaluiert und zeigte Detektionsraten, die mit der Baseline vergleichbar sind. Diese Ergebnisse zeigen, dass Entropie-Steuerungsmethoden, zum Preis eines erheblich höheren Rechenaufwands, die Grenze der Einbettungskapazität für generative linguistische Steganographie erweitern.

Generative linguistic steganography is the practice of hiding a secret message in the tokens generated by a large language model, in order to send a text that does not arouse suspicion in observers. Current methods for generative linguistic steganography maximise the embedding capacity (secret message bits per output token) myopically, one token at a time, rather than globally at the sequence level. Per-token embedding capacity is mathematically upper-bounded by the entropy of the token's probability distribution, but these distributions are themselves a function of all preceding tokens, a fact that existing methods do not exploit. This work introduces a new class of methods called entropy-steering methods, which deliberately select specific tokens to steer the output towards high-entropy distributions, in order to maximise capacity in the overall sequence. One of these methods, which uses the first m tokens to steer the rest of the sequence, is called first-m-steering. Empirically, first-m-steering with random search yielded improvements over the baseline with as few as 6 candidate samples per stego text, showing that the capacity cost of steering is relatively small. First-m-steering was empirically found to enable a median capacity gain of 13% with a brute force search at m=2, within distribution truncation to the top 5 most probable tokens, compared to a baseline using the same embedding algorithm without steering tokens. Experiments show a lack of correlation between the entropy of the first m distributions and the overall capacity, excluding the possibility of using initial entropy as an early proxy for tree-search heuristics and justifying random search as the working baseline. Security was evaluated against an LLM-based steganalysis model, showing detection rates comparable to the baseline. These results show that entropy-steering methods, at the cost of substantially higher computation, extend the frontier of embedding capacity for generative linguistic steganography.