研究提出RLVR采样器不匹配下的熵漂移符号定律

Zhiyuan Wang、Jacob Steeves 与 Chang Liu 发表论文，将 RLVR 训练中策略熵的升降归因于“采样器不匹配”：当 rollout 使用 top-k/top-p 截断或采用学习器未施加的温度采样时，恒定的优势偏移会改变 softmax 策略的熵。作者证明，在一阶近似和期望意义上，这种熵变化的符号由采样器固定。 该结论针对的是采样端与学习端设置不一致的情形，并非所有 RLVR 训练；论文称熵漂移的方向可由此预测。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。