arXiv cs.CL· Zewei Deng, Mohamed Seif, Liyan Xie·· 11 小时前AI 评分29
Watermarkability：衡量并提升语言模型与基于 logit 的水印的兼容性
Watermarkability: Measuring and Improving Language-Model Compatibility with Logit-Based Watermarks
AI 导读
研究提出 watermarkability 指标，量化语言模型与基于 logit 的水印所要求 token 集合的兼容性，以目标概率质量 τ 下所需最小 KL 散度作为成本。
正文 · AI 翻译
摘要：语言模型水印有助于识别模型生成的文本、编码来源信息，并检测生成后的编辑。一大类基于 logit 的水印会在每个解码步骤提高指定 token 集合的 logit。由于基础模型在该集合上的原生概率质量会因上下文、模型和水印规则而异，相同的 logit 偏置可能产生不同的遵循率和困惑度（PPL）增幅。我们引入“可水印性”（watermarkability）来刻画模型与水印所请求的 token 集合之间的兼容性。在目标质量 $\tau$ 下，我们通过可水印性代价来量化这一性质：为使所请求集合的概率至少达到 $\tau$，从基础模型分布出发所需的最小 KL 散度的期望值。代价越低，意味着模型对该请求分布越可水印。为降低这一代价，我们提出一种两阶段方法。第一阶段，我们在取自 16 路词表划分的并集上训练一个以目标集合为条件的低秩适配器，以提高所请求集合的概率质量。第二阶段，一个闭式控制器施加达到目标质量所需的最小剩余均匀 logit 偏置。我们使用 OPT-125M 和 Qwen3-8B 在六种水印调度上评估该方法。在 12 个模型-调度组合中，在接近硬性固定偏置的基线设置下，适配前的可水印性代价与 log-PPL 增幅相关（合并 Pearson $r=0.929$）。对于每种调度，至少 99.80% 的采样 token 落在其解码步骤所请求的目标集合中。在此可靠性下，相对于固定偏置基线，适配器与控制器使 OPT-125M 上每种调度的提示条件平均 PPL 降低 46.3%，使 Qwen3-8B 上降低 5.2%。
| 评论： | 16 页，2 幅图，10 张表。代码见 此 https URL |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.22810 [cs.CL] |
| （或 arXiv:2610.22810v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22810 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zewei Deng [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 01:40:39 UTC（546 KB）
来源：arXiv cs.CL · arxiv.org