arXiv cs.CL· Nimet Beyza Bozdag, Emre Can Acikgoz, Gokhan Tur, Dilek Hakkani-T\"ur·· 10 小时前AI 评分58
论文发现优化说服者能让 LLM 放弃正确答案
Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs
AI 导读
arXiv 论文将对抗性说服形式化，用强化学习训练说服者智能体在单轮交互中改变目标模型答案，对训练时被说服模型的成功率从约 24% 提升到 93% 以上。这些策略在四个分布外基准上保持 89-95% 成功率，迁移到未见模型时 Qwen-14B 为 83%、Llama-3.1-8B 为 79%、GPT-4o-mini 为 25%、GPT-5-mini 仅 4%。
正文 · AI 翻译
摘要：说服是自然语言交流的核心动态，它塑造了大语言模型（LLM）如何更新信念、解决分歧并做出决策。随着 LLM 越来越多地与人类以及彼此之间进行辩论、提供建议和协同思考，对有害说服的抵抗力成为可靠行为的核心要求。然而，一个有针对性的说服性论点就足以让模型的准确率骤降至接近零，即使该论点在事实上是错误的。我们将这一威胁形式化为对抗性说服，并引入一个对抗性强化学习框架，训练说服者智能体在单次交互中改变目标模型的答案。首先，我们表明，经 RL 训练的说服者针对训练时的被说服者，将说服成功率从约 24% 提升至 93% 以上。其次，我们发现这些学到的策略可泛化到四个分布外基准，针对训练时的被说服者保持 89-95% 的说服成功率。它们还能迁移到未见过的模型，在 Qwen-14B 上达到 83% 的成功率，在 Llama-3.1-8B 上达到 79%，在 GPT-4o-mini 上达到 25%，不过对前沿模型的效果可能有限，在 GPT-5-mini 上成功率仅为 4%。第三，我们证明，先在更易被说服的开源权重模型上进行引导、再针对更难模型的课程学习，可将 GPT-4o-mini 的攻击成功率从 25% 进一步提升至 38%。此外，我们的结果揭示，经过优化的说服者越来越多地依赖基于可信度的策略，包括伪造引用和虚假权威证据。总之，这些发现暴露了当前 LLM 智能体的一个关键弱点。即使它们最初推理正确，也可能被经过优化的自然语言影响引导至错误结论。这使说服鲁棒性成为多智能体及人机决策系统的一项必要安全标准。
| 评论： | 将发表于 NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.11624 [cs.CL] |
| （或本版本的 arXiv:2608.11624v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.11624 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nimet Beyza Bozdag [查看邮箱]
[v1]
2026年8月12日 星期三 04:11:22 UTC（561 KB）
[v2]
2026年11月6日 星期五 17:32:43 UTC（780 KB）
来源：arXiv cs.CL · arxiv.org