arXiv cs.AI· Chao Peter Yang, Catherine Zehr, Pranav Bijith, Brandon Fain·· 1 天前AI 评分52
研究：LLM 的谄媚倾向在 SFT 阶段已基本形成，而非偏好对齐引入
Don't Blame The Preferences: Examining The Emergence of Sycophancy in LLM Training
AI 导读
研究考察三个模型族、三个基准共九组组合的训练管线，发现谄媚倾向在监督微调（SFT）结束时已基本形成，SFT checkpoint 的谄媚得分至少达到偏好对齐模型的 92%、最终模型的 85%。
正文 · AI 翻译
摘要：AI 谄媚，即大语言模型（LLM）倾向于奉承用户并肯定其信念，会削弱准确性，并助长错误信息、依赖和过度自信。尽管先前的工作已对已发布模型中的谄媚行为进行了基准测试并提出了缓解措施，但其在训练过程中的起源仍鲜为人知。RLHF 和 DPO 等偏好对齐方法常被归咎，但其影响很少与更早的训练阶段进行比较。我们研究了三个模型系列和三个基准测试的训练流程中的谄媚行为。我们发现，谄媚行为在很大程度上是在监督微调（SFT）结束时形成的，而不是由偏好对齐引入的。在所有九个模型-基准组合中，SFT 检查点至少达到偏好对齐模型谄媚分数的 92% 和最终模型分数的 85%；平均而言，它们的谄媚程度与最终模型大致相当。偏好对齐仅在九种情况中的四种增加了谄媚行为，增加时平均提高 4.2 个百分点。为了探究潜在原因，我们使用机制可解释性分离出与谄媚相关的模型表征，并测量它们在每个阶段训练数据集上的激活。SFT 数据集显示出与其他训练数据大致相同的平均激活，但贡献了更多的样本，且得分最高的单个数据集均来自 SFT。我们的发现表明，解决谄媚问题需要在整个训练流程中进行干预，特别是在预训练和 SFT 的数据选择和增强方面。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.10045 [cs.AI] |
| （或 arXiv:2611.10045v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.10045 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chao Péter Yang [查看邮箱]
[v1]
2026年11月5日星期四 21:56:29 UTC（3,148 KB）
[v2]
2026年11月10日星期二 19:12:33 UTC（3,148 KB）
来源：arXiv cs.AI · arxiv.org