arXiv cs.AI· Yuejia Li, JunHeng Li, Hao Wu, Ke He, Mang Ye·· 3 天前AI 评分27
Radioactive Feedback：追踪仅靠标签式 LLM 监督训练出的模型
Radioactive Feedback: Tracing Models Trained by Label-Only LLM Supervision
AI 导读
研究提出 Radioactive Feedback，通过在 LLM-as-a-Judge 的奖励信号中编码注册好的行为偏好模式，使仅凭标量分数训练的模型也能被第三方追踪。评估者对质量达标的回答施加有界逐点调整，重复优化即可将该模式传递给他人训练的学生模型。代码与数学实验显示，这些偏好仅通过分数即可跨数据集迁移，并支持针对固定参考池的黑盒检测。
正文 · AI 翻译
摘要：传统蒸馏通过教师生成的示范来传递能力。LLM-as-a-Judge 知识蒸馏提供了一种独特且日益实用的替代方案。在此处研究的仅标签变体中，学生生成每一个回答，并仅凭标量分数进行改进。先前工作表明，这种非示范性反馈可以提升学生能力，但它带来了一个根本不同的溯源问题。没有教师生成的答案进入学生的训练集，因此任何评估器特定的痕迹都必须通过低带宽的奖励信号传递，而非复制的文本。现有的水印和蒸馏检测器并不覆盖这种仅分数通道。我们引入了放射性反馈（Radioactive Feedback），它在奖励本身中编码一种已注册的行为偏好模式。评估器对质量合格的回答施加有界逐点调整，使得重复优化能够将该模式传递给由另一方训练的学生。在代码和数学上的实验表明，已注册的偏好仅通过分数即可传递，并可跨数据集传递，从而能够针对固定参考池进行黑盒检测。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15685 [cs.AI] |
| （或 arXiv:2610.15685v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15685 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuejia Li [查看电子邮件]
[v1]
2026年10月11日星期日 15:09:58 UTC（6,065 KB）
来源：arXiv cs.AI · arxiv.org