arXiv cs.CL· Elise L. Han, Tatsunori Hashimoto·· 10 小时前AI 评分34
为语言模型水印协调隐私与来源追溯：Red-Green Sequence 水印
Reconciling Privacy with Provenance for Language Model Watermarks
AI 导读
研究者提出本地差分隐私水印，将水印设计目标从追踪个体转向估计总体使用频率，从而协调来源追溯与隐私。其 Red-Green Sequence（RGS）水印在 C4 语言建模任务上以 ε=1 实现 0.0019 MSE 和 0.0038 平均绝对偏差；在仅 100 条文本的作文任务中，ε=2 时误差仍为 0.0113 MSE 和 0.004 平均绝对偏差。
正文 · AI 翻译
摘要：水印在规范语言模型（LM）的使用方面具有巨大潜力，但其部署一直饱受争议，因为许多用户认为对 LM 使用情况的细粒度追踪侵犯了他们的隐私。这种矛盾削弱了水印的有效性，因为用户会采取改写等规避策略，从而去除大部分水印信号。我们表明，如果我们将水印设计的目标从追踪个体转向估计总体使用情况，那么来源追溯与隐私就可以得到协调。我们开发了本地差分隐私水印，可证明地限制任何单个文本能为检测提供的证据，同时仍能准确估计总体频率。我们引入了红绿序列（RGS）水印，这是一种私有且计算高效的水印，在反映现实部署场景的设置中，能够在各种模型、样本量和生成熵下，在高隐私水平上实现准确的频率估计。在 C4 语言建模任务上，我们在低至 1 的 $\varepsilon$ 下达到了 $0.0019$ 的 MSE 和 $0.0038$ 的平均绝对偏差；而在更具挑战性的设置中，例如仅有 100 个文本样本的论文写作任务，我们在 $\varepsilon=2$ 时仍发现误差约为 $0.0113$ 的 MSE 和 $0.004$ 的平均绝对偏差。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06100 [cs.CR] |
| （或 arXiv:2611.06100v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06100 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Elise Han [查看电子邮件]
[v1]
2026年11月4日星期三 07:45:02 UTC（2,625 KB）
来源：arXiv cs.CL · arxiv.org