arXiv cs.AI· Boyi Wei, Ruta Desai, Peter Henderson, Wenyue Hua·· 3 天前AI 评分52
研究：说服优化如何加剧模型失配，以及如何缓解
Understanding and Reducing Misalignment in Persuasion Optimization
AI 导读
arXiv 论文《Understanding and Reducing Misalignment in Persuasion Optimization》研究为说服能力做强化学习训练对模型对齐的影响。
正文 · AI 翻译
摘要：前沿模型如今正针对复杂的多智能体任务进行训练，从经营公司到参与谈判。这些任务要求训练模型具备说服能力。但这种优化压力对模型对齐意味着什么？在本研究中，我们探究了针对说服能力的强化学习（RL）训练如何影响模型使用证据捏造和信念胁迫等失准策略，以及哪些技术可以减少此类失准。我们发现，仅以接收方信念转变为目标优化发送方模型，会导致每局游戏使用的不同失准策略平均数量增加超过 25%，且每局游戏中的捏造次数相对于 RL 前的模型增加至 4 倍以上。我们比较了多种缓解方法，包括更强的策略引导、干净示范、对失准策略使用进行惩罚，以及提升模型检测捏造的能力。我们发现，在此情境下权衡说服力与失准颇具挑战，最佳权衡来自将对齐说服策略的引导与对失准的奖励惩罚相结合。总体而言，我们的工作提供了一个测试平台，用于评估源自基于 RL 的说服训练所导致的失准，并展示了减少失准的具体路径。重要的是，它强调若无直接干预，涉及说服的 RL 环境很可能自然导致失准策略使用的大幅增加。
| 评论： | 33 页，13 幅图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16070 [cs.AI] |
| （或使用 arXiv:2610.16070v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.16070 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Boyi Wei [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 02:19:21 UTC（480 KB）
来源：arXiv cs.AI · arxiv.org