arXiv cs.AI· Jaros{\l}aw Janas, Pawe{\l} Morawiecki, Josef Pieprzyk·· 1 天前AI 评分31
Look It Up:基于码本搜索的多比特 LLM 水印方案
Look It Up: Multi-bit LLM Watermarking via Codebook Search
AI 导读
研究者提出一种基于码本的多比特 LLM 水印方案,将 n 比特载荷映射为更长的 u 比特码字,生成时通过 token 级 logit 偏置嵌入,提取时用 Hamming 或 Levenshtein 距离匹配预计算秘密码本中的最近码字。
正文 · AI 翻译
摘要:将 LLM 生成的短文本归因到特定来源,对现有多比特水印方法而言仍具挑战性,这些方法通常需要较长的生成文本或代价高昂的解码才能可靠地恢复载荷。我们提出一种基于码本的水印方案,将 $n$ 比特载荷映射为更长的 $u$ 比特码字,并在生成过程中通过 token 级 logit 偏置将其嵌入。提取时,将接收到的比特序列与预计算秘密码本中最近的码字进行匹配,使用汉明距离或 Levenshtein 距离。实验表明,我们的方法在 200 token 生成上对 16-24 比特载荷实现近乎完美的恢复,在基础模型的 127 token 生成上也表现强劲。在部分指令微调模型上,文本极短时结果较弱,因为低熵输出分布降低了嵌入可靠性。我们还研究了一种基于 BCH 的变体,它避免了码本存储,但总体上降低了鲁棒性。Levenshtein 变体提升了对删除和轻度改写的抵抗力,而插入和更强的改写仍然具有挑战性。我们分析了碰撞概率、码字间隔、提取时间、分词一致性和文本质量,突出了基于码本的水印在短文本归因中的实用性和局限性。
| 评论: | 16 页,8 幅图,6 张表。投稿至 IEEE Transactions on Information Forensics and Security。代码:this https URL |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.16890 [cs.CR] |
| (或 arXiv:2611.16890v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.16890 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Jarosław Janas [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 14:49:23 UTC(1,546 KB)
来源:arXiv cs.AI · arxiv.org