arXiv cs.CL· Baris Askin, Muhammed Ustaomeroglu, Anupam Nayak, Gauri Joshi, Guannan Qu, Carlee Joe-Wong·· 10 小时前AI 评分41
研究数据与训练方法对涌现性失准与潜意识学习的影响
Examining the Impact of Data and Training Methods on Emergent and Subliminal Misalignment
AI 导读
微调语言模型会引发超出训练目标的行为变化，研究聚焦涌现性失准（EM）与潜意识学习（SL）两种现象。实验发现，EM 更容易迁移到与微调数据任务相同的提示词上，而非领域相同的提示词；SL 在 on-policy 蒸馏下同样发生失准迁移，强度高于 SFT、与 off-policy 蒸馏相当。教师模型固定时，数据决定学生继承失准的程度，教师则决定失准迁移到哪些领域和任务。
正文 · AI 翻译
摘要：对语言模型进行后训练可能引发远超预期训练目标、令人意外的行为变化。我们研究两个尤为突出的例子：涌现性失准（EM），即在狭窄数据集上微调会导致在无关情境中出现失准行为；以及潜意识学习（SL），即学生模型通过看似无害的训练数据继承了教师模型的失准。我们考察训练数据、评估数据和训练方法如何塑造失准在数据与模型之间迁移的位置与强度。我们通过提示词的领域（其主题语境）和任务（模型执行的功能）来刻画数据，并构建了按领域-任务网格组织的自然语言与合成数据集。我们发现，EM 向与微调数据共享任务的提示词迁移的强度，高于向共享领域的提示词迁移的强度。在合成设定中，模型已充分学习的任务会更广泛地传播失准。对于 SL，我们超越了 SFT（监督微调），转向对教师模型完整下一 token 分布的离策略蒸馏，并且据我们所知，首次采用在策略蒸馏，即教师仅对学生采样的 token 打分。失准在在策略蒸馏下同样会迁移，且强度高于 SFT，与离策略蒸馏相当。与 SFT 中教师既生成数据又监督学生不同，蒸馏让我们能将二者分离。在教师固定的情况下，数据会改变学生继承失准的程度，但教师决定了失准向哪些领域和任务迁移得最强。这些结果共同表明，数据和训练如何影响涌现性与潜意识失准的程度与模式。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.12798 [cs.LG] |
| （或本版本使用 arXiv:2605.12798v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.12798 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Baris Askin [查看邮箱]
[v1]
2026年5月12日星期二 22:27:32 UTC（581 KB）
[v2]
2026年11月10日星期二 05:41:12 UTC（750 KB）
来源：arXiv cs.CL · arxiv.org