跳到正文
arXiv cs.AI· Tom Sander, Pierre Fernandez, Itai Gat, Haiming Bao, Jiaxin Shi, Jason Park, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Hongyan Chang, Hady Elsahar, Tom\'{a}\v{s} Sou\v{c}ek, Tuan Tran, Surya Parimi, Alexandre Mourachko·· 13 小时前AI 评分34

TextSeal2:面向大语言模型的无失真水印,支持 Copula 混合与无记忆竞争

TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races

AI 导读

TextSeal2 是一种面向大语言模型的无失真水印,在投机解码下被拒绝草稿所替换的 token 仍用同一密钥打水印,接受率不变,且不增加可测量的推理延迟。它用 AutoMark 的高斯 copula 将两个及以上密钥合并为单一虚拟密钥,任意数量密钥(含公开共享密钥)合并都不稀释检测。

正文 · AI 翻译

作者:Tom Sander、Pierre Fernandez、Itai Gat、Haiming Bao、Jiaxin Shi、Jason Park、Valeriu Lacatusu、Sylvestre-Alvise Rebuffi、Hongyan Chang、Hady Elsahar、Tomáš Souček、Tuan Tran、Surya Parimi、Alexandre Mourachko

查看 PDF HTML(实验性)

摘要:我们提出 TextSeal2,一种面向大语言模型的无失真水印,它能在推测解码下保持其信号:替换被拒绝草稿的 token 仍使用相同密钥进行水印标记,且接受率保持不变。它还保持了输出多样性,并且没有增加可测量的推理延迟。其前身 TextSeal 通过抛硬币将每个 token 路由到两个密钥之一,从而在 Gumbel-max 方案中恢复多样性。这种做法并非最优,因为检测器在不知道使用了哪个密钥的情况下对两个密钥的分数取平均。TextSeal2 则改为将两个或多个密钥合并为一个虚拟密钥,并通过 AutoMark 的高斯 copula 将其与新鲜噪声耦合。任意数量的密钥(包括公开共享的密钥)都可以这样合并,而不会稀释检测效果。在推测解码下,TextSeal2 通过额外一次指数竞赛来验证带密钥的草稿,该竞赛在草稿竞赛的剩余部分上运行。根据无记忆性,该竞赛复现了块验证,因此输出完全遵循目标模型。我们在三个 LLM 上评估了 TextSeal2。在输出 token 多样性相同的情况下,在 $10^{-3}$ 的假阳性率下,TextSeal2 比 TextSeal 多检测出 8 到 22 个百分点的 100-token 答案,并且与 textGrain 相当,同时无需 logits 后优化。在推测解码下,在相同接受率下,它比 TextSeal 和 textGrain 分别多检测出 18 和 22 个百分点的 200-token 答案。
评论: 代码:此 https URL
主题: 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2610.40613 [cs.CR]
  (或 arXiv:2610.40613v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.40613

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Pierre Fernandez [查看电子邮件]
[v1] 2026年10月29日星期四 17:54:12 UTC(703 KB)

来源:arXiv cs.AI · arxiv.org