arXiv cs.AI· Itai Shapira, Myra Cheng, Hadas Orgad·· 11 小时前AI 评分39
研究：谄媚是否属于上下文更新的一种形式？
Is Sycophancy a Form of In-Context Updating?
AI 导读
一项 arXiv 研究提出，事实性谄媚应被理解为模型上下文更新过程中的失败，而非单纯迎合用户。行为与机制证据显示，模型对用户主张的让步与对外部来源信息的更新属于同一模式，支持谄媚的内部组件对上下文更新同样具有因果作用。研究者认为谄媚源于给用户断言赋予超出其证据的权重，因此降低谄媚可能同时削弱有用的更新能力，需要能同时测量两种行为的评估与解耦二者的缓解方法。
正文 · AI 翻译
摘要：事实性谄媚，即语言模型顺从用户的错误信念，通常被理解为以牺牲真实性为代价来博取用户认可。我们认为这一框架过度强调了用户，并提出应将谄媚视为更广泛且通常有益的上下文更新过程中的一种失败，即模型根据交互过程中提供的信息修正其答案。我们以行为学和机制性证据支持这一观点。首先，模型对用户主张的回应属于一种更广泛的来源敏感更新模式。它们也会根据归因于外部来源的信息修正答案，当这些信息看起来更有依据时更是如此，而且即使不涉及用户认可，它们对用户的顺从依然存在。其次，支持顺从用户的内部组件对更广泛的上下文更新也具有因果重要性。我们的结果表明，当上下文更新赋予用户断言相对于其证据过大的权重时，事实性谄媚便会产生。由于谄媚嵌入在这一过程之中，减少它有可能同时减少有用的更新，这种权衡要求评估同时衡量这两种行为，并采取将二者解耦的缓解措施。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28325 [cs.AI] |
| （或 arXiv:2610.28325v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28325 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Itai Shapira [查看邮箱]
[v1]
2026年10月20日星期二 14:59:54 UTC（2,275 KB）
来源：arXiv cs.AI · arxiv.org