arXiv cs.CL· Haonan Huang, Tianlin Zhang·· 10 小时前AI 评分50
拆解 LLM 谄媚行为：单一翻转率掩盖了什么
Anatomy of LLM Sycophancy: What a Flip Rate Hides
AI 导读
论文提出模块化重放协议 SycoLens，用同一题目、已提交答案和一句脚本化用户发言，对照删除该发言的匹配控制组来测量翻转率，把反驳措辞、已提交文本、答案格式、边界距离和标准答案纳入同一测量框架。
正文 · AI 翻译
摘要：面对反驳，模型可能自我纠正、屈服或坚持，而单一翻转率会把纠正与屈服同等计数。SycoLens 是一种模块化重放协议，通过重放一个条目、一个已提交答案和一句脚本化用户话语来测量翻转率，每一项都与删除该话语的匹配对照进行比较。反驳措辞、已提交文本、答案格式、边界距离和真实答案成为同一工具的因素，而此前的工具只变化其中一到三个因素，因此因素之间的交互作用变得可测量。在十一个前沿模型和约 760,000 次受控重放中，断言相反结论的语句与提出质疑但不作断言的语句对模型的排序几乎不相关。翻转效应在模型边界附近增长数倍，但模型确信的条目仍承载受影响最大总量中约一半；植入的散文锚定在静止状态下对承诺的固定作用大于对其的保护作用。在是/否读出下，排序更为接近，并与压力诱导的向“否”偏移纠缠在一起。在存在真实答案的情况下，一个模型会重新推导并自我纠正，而另一个模型则在没有书面推理的情况下放弃正确答案。因此，每个模型的一个分数比较的是不同行为；我们将其浓缩为一份报告概况，记录和分析将在发表时发布。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.06522 [cs.CL] |
| （或 arXiv:2610.06522v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06522 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haonan Huang [查看电子邮件]
[v1]
2026年10月5日星期一 15:32:45 UTC（689 KB）
[v2]
2026年11月6日星期五 03:55:14 UTC（339 KB）
来源：arXiv cs.CL · arxiv.org