研究：偏好优化共模偏移致词表坍缩

Yun Li 等作者发表的论文提出，偏好优化在排序指标全面提升的同时，会在模型隐藏状态中积累一种“共模偏移”：该偏移跨 token 位置、提示词以及 chosen/rejected 响应共同存在。作者称，这种偏移投影到输出层后形成“词表井”，抬高单个 token 的概率，直至生成坍缩。 这一机制把偏好优化的失败归因于隐藏状态的共同方向性偏移，而非排序目标本身，为解释指标改善与生成质量下降并存提供了统一说明。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。