arXiv cs.AI· Zehao Wang, Hanzhu Chen, Runquan Gui, Zhe Wang, Lin Yang·· 12 小时前AI 评分26
PICO：当所有 rollout 都失败时，用策略兼容联合解码攻克难题推理
When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning
AI 导读
针对 RLVR 在难题上所有 rollout 均失败、GRPO/RLOO 等组相对估计器优势归零的学习悬崖，研究者提出 Policy-Compatible Reinforcement Learning（PICO）。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）通过同策略探索从二元奖励中获取学习信号，已成为提升大语言模型推理能力的强大范式。然而，当问题超出模型当前能力时，它会遭遇学习悬崖：当所有 rollout 都失败时，样本无法揭示任何关于正确解的信息，而组相对估计器（如 GRPO、RLOO）会将更新坍缩为零优势。专家轨迹提供了一种补救方案，但它们与当前策略不兼容，且往往位于学生的低概率区域，因此幸存的更新需要大幅参数偏移，并退化为表面模仿而非可迁移的推理。我们认为，困难问题上的有用学习信号必须既可验证正确，又与当前策略充分兼容。我们提出策略兼容强化学习（PICO），它执行分布约束的联合解码：专家数据在 token 级别引导解码，同时保留学生的相对 token 概率，动态 top-k 机制在有限散度预算下限制采样分布，从而构造出经检验且策略兼容的轨迹。这些轨迹与同策略 rollout 在混合行为目标下联合优化，该目标通过重要性采样缓解其分布不匹配。在多样化推理数据集和智能体基准上的实验表明，PICO 始终优于标准 RLVR 和先前的离策略基线。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36849 [cs.LG] |
| （或 arXiv:2610.36849v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36849 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehao Wang [查看邮箱]
[v1]
2026年10月27日星期二 08:47:35 UTC（571 KB）
来源：arXiv cs.AI · arxiv.org