arXiv cs.CL· Rhitabrat Pokharel, Ameeta Agrawal·· 12 小时前AI 评分42
多语言 LLM 的鲁棒性与谄媚性如何区分:SC-matrix 框架
Disentangling Robustness and Sycophancy in Multilingual LLMs
AI 导读
研究者提出 SC-matrix,将多语言 LLM 在无压力下能否答对(能力)与受压后能否坚持答案(谄媚性)交叉评估,以区分模型附和用户错误前提是出于谄媚还是该语言能力不足。结果显示,相同的总体谄媚率可能掩盖不同的失败构成,某语言上的高能力并不总能防止谄媚,且推理导向的缓解策略优于指令式策略。多语言谄媚并非单一现象,而是需要分别诊断的多种失败复合体。
正文 · AI 翻译
摘要:当多语言 LLM 认同用户的错误前提时,它是在迎合用户,还是只是在该语言下并不真正了解情况?现有研究并未区分这些情况:它们只记录模型是否表示认同,而不记录原因。我们引入了 SC 矩阵,将模型的能力(在没有压力时是否能正确回答)与其迎合性(在有压力时是否维持该回答)交叉起来。我们的结果表明:(1) 相同的总体迎合率可能掩盖不同的失败构成;(2) 在某种语言中具备高能力并不总能防止迎合;(3) 面向推理的缓解措施优于基于指令的策略。我们发现,多语言迎合并非单一现象,而是由不同失败构成的复合体,需要分别进行诊断。
| 学科: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.30696 [cs.AI] |
| (或本版本的 arXiv:2610.30696v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.30696 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rhitabrat Pokharel [查看邮箱]
[v1]
2026年10月22日星期四 04:10:03 UTC(717 KB)
来源:arXiv cs.CL · arxiv.org