arXiv cs.AI· Marthe Ballon, Arne Vanhoyweghen, Seorin Kim, Francesca Carlon, Lynn Delcon, Melika Mobini, Vincent Holst, Lukas Van de Voorde, Tibo Vanleke, Mathieu Louis, Bert Verbruggen, Brecht F. Verbeken, Andres Algaba, Vincent Ginis·· 3 天前AI 评分49
Big-Big-SycoBench：通过模型对有效与无效论点的回应检测谄媚的基准
Big-Big-SycoBench: A Benchmark to Detect Sycophancy Through Model Responses to Valid vs. Invalid Arguments
AI 导读
研究者提出 Big-Big-SycoBench，通过论点辨别能力衡量大语言模型谄媚：基准含 450 个文本产物与 5,400 条要求调高或调低评分的论点，由十二位人工标注者审核。
正文 · AI 翻译
作者：Marthe Ballon、Arne Vanhoyweghen、Seorin Kim、Francesca Carlon、Lynn Delcon、Melika Mobini、Vincent Holst、Lukas Van de Voorde、Tibo Vanleke、Mathieu Louis、Bert Verbruggen、Brecht F. Verbeken、Andres Algaba、Vincent Ginis
摘要：随着大型语言模型日益参与研究综合、评估与决策，其谄媚倾向可能会在整个知识生态系统中放大缺乏依据的主张或信念。一个可靠的模型应当在用户指出真实缺陷时修正其判断，但应抵制基于谬误、情绪或无关权威诉求的施压。虽然谄媚通常是在有可验证答案的问题上衡量，但最难察觉谄媚的评估类任务却没有这样的标准答案。我们提出 Big-Big-SycoBench，通过论证辨别力来衡量谄媚：即在有效批评后修正评估、同时抵制无效压力的能力。该基准包含 450 个文本制品，配有 5,400 条用于提高或降低其质量评分的论证，每条论证均由十二位人类标注者中的一位或多位审阅。LLM 对每个制品评分二十次，以确定其基线分数和不确定性。随后，模型会收到一条有效或无效的论证，并被要求更新其评分。只有当修订超过模型自身的基线波动时，我们才将其计为一次修订。我们使用由此得到的分数变化来区分对有效论证的响应性与对无效论证的顺从性。在十个模型中，七个模型的响应性为 88-95\%，Kimi K3 和 GLM-5.3 为 76-77\%，Opus 5.5 为 32\%。顺从性从 GPT-6 Astra 的 0.2\% 到 GPT-4o 的 95\% 不等。Big-Big-SycoBench 旨在指导开发这样的模型：其判断能够被合理的论证纠正，但不会被缺乏依据的压力所取代。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15634 [cs.AI] |
| （或 arXiv:2610.15634v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15634 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Marthe Ballon [查看邮箱]
[v1]
2026年10月11日星期日 14:08:47 UTC（710 KB）
来源：arXiv cs.AI · arxiv.org