arXiv cs.CL· Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal·· 11 小时前AI 评分58
VPO：面向多样性的强化学习训练提升测试时搜索效果
Vector Policy Optimization: Training for Diversity Improves Test-Time Search
AI 导读
论文提出 Vector Policy Optimization（VPO），一种显式训练策略预期多样化下游奖励函数并产出多样解的强化学习算法。VPO 利用实践中奖励常为向量值的特点，结合多答案提示与集合级奖励，训练 LLM 生成在向量奖励空间不同权衡上专精的解集。
正文 · AI 翻译
摘要：语言模型现在必须能够开箱即用地泛化到新环境，并在推理扩展搜索流程（如 AlphaEvolve）中工作，这些流程使用各种任务特定的奖励函数来选择 rollout。遗憾的是，LLM 后训练的标准范式优化的是预先指定的标量奖励，这往往导致当前 LLM 产生低熵的响应分布，从而难以展现出推理时搜索所需的多样性。我们提出向量策略优化（VPO），一种显式训练策略以预判多样化的下游奖励函数并产生多样化解决方案的 RL 算法。VPO 利用了实践中奖励往往是向量值这一特点，例如代码生成中每个测试用例的正确性，或者多个不同的用户角色或奖励模型。VPO 将多答案提示与集合级奖励相结合，训练 LLM 产生一组解决方案，这些解决方案专门针对向量奖励空间中的不同权衡。在四项任务中，VPO 在测试时搜索（例如 pass@k 和 best@k）上匹配或超越了最强的标量 RL 基线，且随着搜索预算增长，差距进一步扩大。对于进化搜索，VPO 模型解锁了 GRPO 模型完全无法解决的问题。随着测试时搜索成为标准，多样性可能需要成为默认的后训练目标。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2605.22817 [cs.LG] |
| （或 arXiv:2605.22817v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.22817 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Ryan Bahlous-Boldi [查看邮箱]
[v1]
2026年5月21日星期四 17:59:26 UTC（404 KB）
[v2]
2026年11月5日星期四 16:59:48 UTC（383 KB）
来源：arXiv cs.CL · arxiv.org