arXiv cs.AI· Hyojun Kim, Hyeseon An, Yo-Sub Han·· 11 小时前AI 评分29
用学习式前瞻与均衡词带为扩散语言模型添加水印
Watermarking Diffusion Language Models with Learned Foresight and Balanced Bands
AI 导读
研究提出为扩散语言模型设计水印的新方法，学习两个此前固定的组件：作为绿名单的词汇带和预测候选词如何影响邻近预测的前瞻预测器，并按检测器方式对每个不同上下文-词对只计一次绿词。
正文 · AI 翻译
摘要：绿-红水印偏好来自绿色列表的 token，该列表由密钥根据前序 token 推导得出。然而，扩散语言模型常常在其前序 token 之前就选定某个 token，而该 token 随后又会影响其相邻 token 的绿色列表。因此，先前的工作会调整每个选择，以提高其自身及相邻位置绿色 token 的期望数量。在此目标基础上，我们首先学习先前工作保持固定的两个组件：作为绿色列表的词汇带，用于区分相互竞争的候选并保持零分布精确；以及一个预见性预测器，用于估计每个候选如何改变其相邻位置的预测。其次，我们按照检测器的方式统计绿色 token，即每个不同的上下文-token 对只计一次，因此重复不会带来任何收益。在 WaterBench 上使用 LLaDA-8B-Instruct 时，每个学习到的组件都能在相同失真下提高 z 分数，且二者的增益几乎可加。在强水印下，我们的方法在 1% 假阳性率下至少能检测出 96% 的响应，同时其 LLM 评判分数与无水印文本相当。我们的方法在 Dream 上也能检测出更多响应，在代码和问答任务上检测出相同或更多响应，且任务准确率没有显著损失。
| 评论： | 31 页，7 幅图。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32205 [cs.AI] |
| （或 arXiv:2610.32205v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.32205 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hyojun Kim [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 05:58:58 UTC（310 KB）
来源：arXiv cs.AI · arxiv.org