PICO方法应对RLVR难题学习悬崖

Zehao Wang等作者提出Policy-Compatible Reinforcement Learning（PICO），针对RLVR在困难问题上所有rollout均失败、GRPO/RLOO等组相对估计器优势归零的“学习悬崖”。据作者描述，PICO进行分布约束的联合解码：专家数据在token层面引导解码，同时保留学生的相对token概率，动态top-k机制在有限散度预算内限制采样分布，从而生成经构造即通过验证且与策略兼容的轨迹。 目前该工作以预印本形式发布，尚未见独立复现或同行评审结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。