arXiv cs.CL· Yun Li, Ehsan Javanmardi, Simon Thompson, Jiachen Gong, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada·· 12 小时前AI 评分38
ECHO：偏好优化中的共模隐藏偏移如何导致词表坍缩
ECHO: Emergent Common-Mode Hidden Offsets Drive Vocabulary Collapse in Preference Optimization
AI 导读
偏好优化可在所有排序指标提升的同时积累一种跨 token 位置、提示词及 chosen/rejected 响应的共模隐藏偏移，该偏移投影到输出层形成“词表井”，抬高单个 token 概率直至生成坍缩。
正文 · AI 翻译
摘要：偏好优化可以在提升每一项排序指标的同时，构建出一种隐藏的、共享的表示偏移，而相对损失几乎无法察觉这种偏移，它最终可能摧毁生成能力。我们将这一失败归因于共模偏移，即模型隐藏状态中出现的一种共享方向性偏移，它跨越 token 位置、提示词以及被选中和被拒绝的回复。由于它使被选中和被拒绝的表示一同移动，相对排序损失对其累积几乎无动于衷。随着该偏移增大，它会投影到输出层上形成一个词汇井，抬高单个 token 的概率，直至其主导解码并导致生成崩溃。仅该孤立偏移本身就能重建词汇井；将学习到的偏移注入未经处理的基座模型会重现崩溃，而范数匹配的随机方向则不会；在我们的旗舰设置中，从损失中屏蔽这一共模分量可防止词汇井的形成。在我们所研究的逐 token 排序损失下，同样的崩溃出现在 17 个基座模型谱系中的 14 个，并且在全参数微调下也会出现。此外，该偏移并非仅仅是崩溃的产物，因为它在未形成词汇井的教科书式 DPO 和 SimPO 运行中就已存在。教科书式 DPO 即使在我们三倍的基础预算下，也仅使其与任何单一词汇方向保持弱对齐。然而，在该预算下从基座模型开始训练时，全参数 SimPO 在 Llama-2 和 Llama-3.1 上均使其陷入崩溃；并且在官方 SimPO 配方下，从公开的 SFT 检查点出发，同类偏移也会增长，但不形成词汇井。在 17 次 UltraFeedback 运行中，一次运行对留出回复的排序越好，两个公开奖励模型偏好其样本而非基座模型样本的频率就越低。这些发现揭示了标准排序指标中的一个盲点，并引入了一种表示层面的信号，可在生成崩溃发生之前发出预警。
| 评论： | 28 页，13 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29410 [cs.CL] |
| （或 arXiv:2610.29410v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29410 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yun Li [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 08:35:39 UTC（362 KB）
来源：arXiv cs.CL · arxiv.org