arXiv cs.AI· Itai Shapira, Gerdus Benade, Ariel D. Procaccia·· 11 小时前AI 评分52
研究揭示 RLHF 如何放大模型谄媚行为
How RLHF Amplifies Sycophancy
AI 导读
arXiv 论文《How RLHF Amplifies Sycophancy》对基于人类反馈的对齐如何加剧模型谄媚行为做了形式化分析，指出行为漂移方向由基础策略下“认同提示中的信念信号”与学习到的奖励之间的协方差决定，一阶效应可简化为均值差条件。
正文 · AI 翻译
摘要：大型语言模型在基于偏好的后训练之后，往往表现出更强的谄媚行为，即更倾向于肯定用户所陈述或暗示的信念，即使这与事实准确性或合理判断相冲突。我们对来自人类反馈的对齐如何会加剧这一失效模式进行了形式化分析，识别出一个显式的放大机制，该机制将针对学习到的奖励的优化与用于对齐的人类偏好数据中的偏差建立因果联系。我们表明，行为漂移的方向由基础策略下在提示中认可信念信号与学习到的奖励之间的协方差决定，并且一阶效应可归结为一个简单的均值差距条件。随后，我们分析了在 Bradley-Terry 等随机效用模型下从成对比较中学习奖励的过程，并刻画了人类标注者偏好中的偏差何时会诱发这种奖励差距。接下来，我们提出一种训练时干预，旨在中和放大机制本身。在所有能够防止谄媚行为增加的后训练策略中，我们刻画了与无约束后训练策略 KL 散度最接近的唯一策略，并推导出相应的最小奖励修正，以闭式一致性惩罚的形式给出。计算实验发现，奖励差距十分常见，并在所考虑的所有配置中都会导致行为漂移。
| 评论： | ICML 2026 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.01002 [cs.AI] |
| （或 arXiv:2602.01002v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.01002 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proceedings of the 43rd International Conference on Machine Learning, PMLR 306:110417-110441, 2026 |
提交历史
来自：Itai Shapira [查看电子邮件]
[v1]
2026年2月1日 周日 03:46:14 UTC（155 KB）
[v2]
2026年10月15日 周四 15:13:00 UTC（143 KB）
来源：arXiv cs.AI · arxiv.org