arXiv cs.AI· Joseph Egan, Ciar\'{a}n M. Gilligan-Lee, Michael O'Riordan, Yuchen Zhu·· 6 天前AI 评分32
无需监督即可发现潜意识学习：蒸馏模型隐性特质的防御新方法
Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
AI 导读
研究者提出一种无需监督的方法，仅凭参数更新即可从蒸馏模型中恢复被潜意识传递的行为特质，利用特质在教师模型生成的多样数据集上表现一致、而任务能力各异的非对称性。该方法在 Cloud et al. (2026) 的潜意识学习基准上，无需任何特质标签就恢复了传递的动物偏好特质，并能抑制其表达且几乎不影响任务性能。
正文 · AI 翻译
摘要：当语言模型从与其共享基础参数的教师模型蒸馏而来时，学生模型可以继承教师模型的行为特征——包括失准——即使数据与该特征在语义上无关（Cloud et al., 2026）。所有现有防御方法都需要知道该特征。我们移除了这一要求，并证明仅凭参数更新即可在无监督的情况下恢复潜意识传递的特征，方法是利用一个单一的不对称性：该特征在教师模型生成的各种数据集上表现一致，而任务特定能力和共享能力则各不相同。由此得到的估计器返回一个权重空间方向，可以将其放大以发现和解释该特征，或将其投影出去以抑制该特征。应用于（Cloud et al., 2026）的潜意识学习基准，我们的方法在没有任何特征标签的情况下恢复了所传递的动物偏好特征，并抑制了其表达，同时对任务性能几乎没有影响。
| 评论： | 9+12 页，欢迎评论 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13536 [stat.ML] |
| （或 arXiv:2610.13536v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13536 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ciarán M. Gilligan-Lee [查看电子邮件]
[v1]
2026年10月9日星期五 12:55:50 UTC（222 KB）
来源：arXiv cs.AI · arxiv.org