arXiv cs.AI· Prashant Shekhar, Dumindu Samaraweera, Caroline Howard·· 4 小时前AI 评分31
开放权重 LLM 修改下的水印证据:低秩输出水印的精确边界
Watermark Evidence under Open-Weight LLM Modification: Exact Bounds for Low-Rank Output Watermarks
AI 导读
研究量化了开放权重模型被修改后 OpenStamp 式水印验证器可获得的证据变化,推导出有限词表下期望对数似然比证据的精确下界及序列级检测的高置信漏检概率上界。
正文 · AI 翻译
摘要:开放权重语言模型在已发布的权重被修改后仍可继续生成,而水印验证器仍会依据原始基础模型和标记模型对输出进行评分。我们研究此类修改如何改变 OpenStamp 风格验证器可获得的证据。在每个共享前缀处,我们将修改表示为下一 token logits 中的残差。我们推导出在残差跨度约束下,期望对数似然比证据的精确有限词表下界,以及一个紧致的仅跨度偏差界。我们还通过一个带有显式二阶余项的协方差项刻画一阶证据偏移,并确定达到目标证据水平所需的残差跨度。对于序列级检测,我们推导出一个精确的条件指数矩界,并将其与超鞅论证和无分布顺序统计量容差界相结合。由此得到在校准数据上进行攻击选择、并在独立认证续写上进行评估后,漏检概率的高置信度上界。在 Llama-2-7B 和 Mistral-7B-v0.3 上使用 OpenStamp 的实验中,INT8 量化和 30% 剪枝将测试真阳性率保持在 85.6-94.8%,而 500 步 LoRA 微调将其降至 28.8% 和 11.6%。协方差预测在两个模型上都跟踪了实测的平均 LoRA 证据漂移,且在 160,000 个测试前缀中未出现余项界违反。此外,每个模型在 500 条基础模型续写中观察到零假阳性。通过这些理论和实证结果,当前研究提供了对水印抵御模型编辑/调优攻击鲁棒性的更好理解。
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.21702 [cs.CR] |
| (或 arXiv:2611.21702v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21702 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Prashant Shekhar [查看电子邮件]
[v1]
2026年11月16日星期一 15:52:38 UTC(91 KB)
来源:arXiv cs.AI · arxiv.org