arXiv cs.CL· Minqian Liu, Yuexi Shen, Heajun An, Qi Zhang, Pamela J. Wisniewski, Sang Won Lee, Jin-Hee Cho, Lifu Huang·· 14 小时前AI 评分29
Probe-RPO：用隐含信念作为可扩展过程奖励训练 LLM 策略性说服
Implicit Beliefs as Scalable Process Rewards for Strategic Persuasion
AI 导读
研究者提出 Probe-RPO，一种在线强化学习框架，通过从冻结的被说服者模型 logits 中读取三个内省探针，将对话对方内部状态转化为稠密过程奖励，用于 LLM 多轮策略性说服训练。
正文 · AI 翻译
摘要：面向多轮策略性说服训练大型语言模型（LLM）面临两个相互关联的障碍：(i) 对具有心理学依据的被说服者进行真实模拟，以及 (ii) 在策略性对话中为信用分配提供密集且忠实的监督。仅基于结果的奖励稀疏，且无法说明哪些对话动作促成了成功，而 LLM 评判的过程奖励成本高昂，且与底层交互动态脱节。我们用一个统一框架应对这两项挑战。首先，我们提出 PersuArena，一个能生成真实、非单调轨迹的说服模拟环境。其次，直接基于该环境，我们提出通过在线信念诱导实现相对策略优化的过程奖励（Probe-RPO），这是一个将说服对象的内部状态转化为密集过程奖励的在线强化学习框架。在每一轮，从冻结的被说服者的 logits 中读取三个内省探针，产生一个与说服动态忠实对齐的多维奖励信号。我们在 PersuArena 上开展了涵盖医疗、财务咨询、职场管理、教育和个人关系的广泛实验，结果表明我们的 Probe-RPO 达到 52.5% 的完全接受率，而最强的 GRPO 消融为 35.8%，最佳现成 LLM 为 25.8%。我们还对被说服者模型间的泛化性以及对话中的说服动态进行了全面分析。我们的工作提供了一种有前景的范式，可为策略性对话提供有效的过程监督。
| 评论： | NeurIPS 2026 Workshop（用于社会推理与模拟的大型语言模型） |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33527 [cs.LG] |
| （或 arXiv:2610.33527v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33527 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minqian Liu [查看邮箱]
[v1]
2026年10月24日星期六 08:08:23 UTC（266 KB）
来源：arXiv cs.CL · arxiv.org