Meta 论文提出 WM-Basin：可从蒸馏模型输出黑盒检测水印来源

Rohan Paul· @rohanpaul_ai · X·2026-10-30 16:05· 1 小时前AI 评分49

AI 导读

Meta 新论文提出 WM-Basin，可从蒸馏模型的文本输出中黑盒检测其是否源自带水印的 API 输出。该方法把嫌疑模型的 API 输出转成固定探针模型的梯度，再与真实密钥比对；在 1,200 个蒸馏模型、0.1% 假阳性率下，对 n-gram=1 水印的检出率达 79%，而传统 token 计数仅 29%。量化、轻度剪枝和 RL 后训练未能消除该痕迹，但在干净数据上进一步微调会削弱它。

正文 · 原文

Meta 的新论文发现，从带水印的 API 输出中蒸馏出的模型会在其权重中保留一种隐藏的、与密钥相关的痕迹，而且仅凭副本的文本就能读出这种痕迹。

如今的检测器会统计嫌疑模型文本中的水印 token，因而漏掉了大多数用低温采样生成的副本。

他们发现，带水印的痕迹会把学生的权重推向一个微弱且与密钥相关的方向。WM-Basin 将嫌疑模型的 API 输出转换为固定探针模型的梯度，并检验这些梯度是否在诱饵密钥中与真实密钥匹配。

在 1,200 个蒸馏模型、0.1% 假阳性率下，该方法对 n-gram=1 水印的检出率达 79%，而 token 计数仅为 29%。量化、轻度剪枝和 RL 后训练未能消除该痕迹，不过在干净数据上进行更多微调会削弱它。

– arxiv. org/abs/2610.37266

标题：“Watermark Basins: Black-Box Detection of Distilled LLMs”

来源：Rohan Paul · x.com