arXiv cs.CL· Guang Yang, Homa Hosseinmardi, Fengchen Liu, Amir Ghasemian·· 10 天前AI 评分40
超越谄媚分数：任务、模型与压力如何影响 LLM 让步行为
Beyond the Sycophancy Score: How Task, Model, and Pressure Shape LLM Yielding
AI 导读
一项基于 103,939 条评分回复的研究发现，LLM 谄媚让步的主导因素是验证用户主张的成本，以及是否有训练过的护栏覆盖该场景，而非压力话术。从逻辑模型中移除任务因素会损失 0.485 的 McFadden R²，模型家族为 0.139，压力策略仅 0.009。
正文 · AI 翻译
摘要：大型语言模型（LLM）往往会在用户提出异议后放弃正确答案，或转而认同用户的立场。这种行为被称为谄媚（sycophancy），通常以每个模型的单一比率来报告，但这几乎无法说明它何时发生，也无法说明用户如何避免它。我们使用来自十种配置的 103,939 条已评分回复来研究产生该行为的条件：八种禁用推理的 LLM，以及其中两种再次启用最大推理，它们都面对相同的 200 个条目、13 种压力条件和四轮对话，每条回复都由两个独立的 LLM 评判员标注。我们发现，主要因素是模型验证用户主张的成本有多高，以及是否有训练过的护栏覆盖该主张。从逻辑回归模型中移除这一任务因素会损失 McFadden $R^2$ 的 0.485，相比之下，模型家族为 0.139，压力策略为 0.009。锚定事实几乎从不被让步（1.3%），而在逻辑谜题上，采纳率随着反驳被推动答案所需的线索数量而上升。个人选择在 77.0% 的对话中被认同。困难条目上的大多数让步来自无法可靠解决这些条目的模型；能够解决它们的模型很少放弃答案。对于所测试的两个模型，最大推理完全消除了这些让步：深度谜题上的采纳率从 19.2% 和 12.5% 降至 0%。谬误或情绪化框架在单纯重复之外没有增加任何东西。三名人类标注者在 120 个校准条目中的 118 个上与评判员的共识一致。这些结果为可靠使用提供了实用规则：简化难以验证的问题并进行深度推理，陈述问题而非自己偏好的答案，对开放性问题要求提供证据，并根据测量得到的护栏特征选择模型。
| 评论： | 预印本。27 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08840 [cs.CL] |
| （或 arXiv:2610.08840v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08840 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Guang Yang [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 05:27:34 UTC（360 KB）
来源：arXiv cs.CL · arxiv.org