arXiv cs.CL· Hongyan Chang, Hady Elsahar, Tom Sander, Pierre Fernandez, Saeed Mahloujifar, Sylvestre-Alvise Rebuffi, Tom\'a\v{s} Sou\v{c}ek, Tuan Tran, Valeriu Lacatusu, Surya Parimi, Rashel Moritz, Vanessa Stark, Alexandre Mourachko·· 12 小时前AI 评分38
Watermark Basins：面向蒸馏 LLM 的黑盒检测方法
Watermark Basins: Black-Box Detection of Distilled LLMs
AI 导读
研究者提出 Watermark Basin Alignment（WM-Basin），一种无需模型权重或 logits、仅通过 API 查询即可检测蒸馏 LLM 的黑盒水印方法。
正文 · AI 翻译
作者：Hongyan Chang、Hady Elsahar、Tom Sander、Pierre Fernandez、Saeed Mahloujifar、Sylvestre-Alvise Rebuffi、Tomáš Souček、Tuan Tran、Valeriu Lacatusu、Surya Parimi、Rashel Moritz、Vanessa Stark、Alexandre Mourachko
摘要：专有语言模型及其推理轨迹容易受到基于 API 的蒸馏攻击，即攻击者利用教师模型的输出训练学生模型。为获取蒸馏的证据，模型提供方可以对教师模型的输出添加水印，力求在学生模型的输出中留下放射性信号。现有的黑盒检测器利用可疑模型输出的 token 级统计量来搜寻这种放射性。然而，token 级信号并非总能被检测到，例如当蒸馏轨迹以较低温度采样时。在本工作中，我们发现了水印盆地（watermark basin），这是一种持久信号，能够实现更可靠的水印检测：在微调过程中，带水印的教师轨迹会在参数空间中嵌入一个独特的、与密钥相关的几何信号，该信号与普通任务特定的微调子空间正交。基于此，我们提出了水印盆地对齐（Watermark Basin Alignment，WM-Basin），一种黑盒水印检测器，它通过 API 查询可疑模型，无需访问其权重或 logits。WM-Basin 使用固定的干净探针模型将生成的文本映射为梯度表示，投影去除普通微调任务方向，并检验残差梯度是否与由水印密钥诱导的水印盆地对齐。我们在数学推理蒸馏任务上，针对多种教师模型和学生架构（从 135M 到 8.2B 参数）对 WM-Basin 进行了广泛评估。在严格的 0.1% 假阳性率下，WM-Basin 在 n-gram=1 时检测出 79% 的蒸馏模型，在 n-gram=3 时检测出 45%，显著优于最先进的 token 级基线（分别为 29% 和 1.3%）。由于水印信号驻留在一个持久的盆地中，它能够经受蒸馏后的修改，包括量化、剪枝和强化学习后训练。
| 学科： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.37266 [cs.CR] |
| （或 arXiv:2610.37266v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37266 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hongyan Chang [查看邮箱]
[v1]
2026年10月27日星期二 13:59:34 UTC（1,012 KB）
来源：arXiv cs.CL · arxiv.org