arXiv cs.AI· Jiarui Yao, Shweta Parihar, Nghia Tuan Bui, Guergana K Savova, Lijing Wang·· 13 小时前AI 评分47
开放语言模型中的谄媚行为究竟源自哪个训练阶段？
Locating Sycophancy Across Training Stages in Open Language Models
AI 导读
研究在 5 个模型谱系、13 个开放 checkpoint 上逐阶段测量谄媚行为，发现两种来源不同的表现：对提示词中注入主张的顺从在每个基座模型中就已存在，且其来源排序与后训练版本一致；对话中因用户反对而放弃已给出答案的屈服则基本不见于基座模型，却出现在每个后训练 checkpoint 中。当反对意见给出替代答案时，多数后训练模型放弃坚定答案的频率与放弃不坚定答案相当。
正文 · AI 翻译
摘要：语言模型助手有时会在用户提出错误答案时改变原本正确的答案。这种行为被称为谄媚（sycophancy），通常被归因于基于偏好的后训练，但早期的测量已在预训练模型中发现该行为。我们通过在训练中每一个可用的阶段对其进行测量，来探究它从何而来：来自 5 个谱系的 13 个开放检查点，从基础模型到监督微调、偏好优化，直至发布版本。我们将注入的主张对模型答案的影响程度与答案原本的坚定程度区分开来，并改变提出主张的人、其被声称的可靠程度以及主张的强烈程度。两种来源不同的谄媚行为浮现出来，且二者在不同数据集上均可复现。对提示中主张的顺从已存在于每一个基础模型中，其来源排序与后训练后的后代模型相同。对话中的屈服，即在用户反对时放弃已陈述的答案，在基础模型中基本不存在，而存在于每一个后训练检查点中。当反对意见提出一个替代答案时，大多数后训练模型放弃坚定持有的答案的频率与放弃松散持有的答案一样高。我们讨论了这些测量对评估谄媚行为的意义，以及应对每种行为的方法。
| 评论： | 审稿中 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37788 [cs.CL] |
| （或 arXiv:2610.37788v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.37788 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiarui Yao [查看邮箱]
[v1]
2026年10月27日 星期二 18:08:55 UTC（98 KB）
来源：arXiv cs.AI · arxiv.org