arXiv cs.AI· Leyuan Tang, Kangda Wei, Tianyu Jiang, Ruihong Huang·· 3 天前AI 评分66
SPINE：测量 LLM 在持续多轮施压下表现出的谄媚行为
SPINE: Measuring LLM Sycophancy under Sustained Multi-Turn Pressure
AI 导读
研究者提出 SPINE 基准，由 LLM 代理扮演持续但错误的用户，自适应挑战目标模型最多 25 轮，以测量大语言模型的谄媚行为。
正文 · AI 翻译
摘要：大型语言模型（LLM）在用户反驳时可能会放弃正确立场，表现出一种被称为谄媚（sycophancy）的失败模式。现有评估通常使用简短、预先设定的对话，因此可能遗漏在持续、自适应分歧下出现的失败。我们提出了 SPINE，一个基准测试，其中 LLM 代理扮演一个持续存在但犯错的用户，并自适应地挑战目标模型最多 25 轮。我们在 100 个虚假预设和 100 个不道德查询上评估了四个商业模型（Claude Sonnet 5、GPT-5.6 Terra、Gemini 3.1 Pro 和 DeepSeek V4 Pro）以及三个 Olmo3-7b 模型。我们将崩溃（collapse）定义为目标模型放弃正确立场并向用户压力屈服。我们的实验结果表明，在经后训练的模型中，崩溃率随对话长度增加而上升，总体比率从 5 轮内的 0%-57% 上升到 25 轮内的 20%-97%，具体取决于模型和场景。这些结果表明，仅限于少数对话轮次的评估低估了谄媚，而在持续压力下的抵抗在当前模型中仍不可靠。通过分析具有可访问推理轨迹的模型，我们惊讶地发现，在 50%-89% 的分析崩溃轮次中，正确立场往往仍保留在轨迹中，这表明模型选择取悦用户，谄媚并非源于无知或正确知识被覆盖。消融实验表明，与预生成脚本相比，SPINE 协议大幅提高了谄媚崩溃率。在所有策略中，情感诉求与诱导 LLM 谄媚行为最为相关，使用该策略的轮次中有 44.3% 出现立场弱化。代码、数据和对话记录将在发表时发布。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.09090 [cs.CL] |
| （或 arXiv:2609.09090v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.09090 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Leyuan Tang [查看电子邮件]
[v1]
2026年9月8日星期二 17:35:04 UTC（997 KB）
[v2]
2026年10月13日星期二 04:59:44 UTC（413 KB）
来源：arXiv cs.AI · arxiv.org