arXiv cs.AI· Zhiyuan Wang, Jacob Steeves, Chang Liu·· 14 小时前AI 评分34
RLVR 采样器不匹配下的熵漂移符号定律
A Sign Law for Entropy Drift under Sampler Mismatch in RLVR
AI 导读
研究揭示 RLVR 中熵的升降由采样器不匹配决定：当 rollout 使用 top-k/top-p 截断或较低温度而学习器不采用时，恒定优势偏移会改变 softmax 策略的熵，符号由采样器固定。
正文 · AI 翻译
摘要：在带可验证奖励的强化学习（RLVR）中，熵的上升或下降取决于本应中性的选择，例如超长回复是被掩码还是计为失败。我们将此追溯到采样器不匹配：rollout 在 top-k/top-p 截断下或在学习器未采用的温度下采样，并证明恒定的优势偏移随后会改变 softmax 策略的熵，在一阶和期望意义上，其符号由采样器固定：正偏移会在任何与策略的似然比随 token 概率增加的采样器下锐化策略，包括 top-k、top-p、min-p 和低于 1 的温度，而在更平坦的采样器下使其变平。在基于组的 RLVR 与 token 级损失中，这种漂移的基线控制部分由 token 加权净优势决定，掩码和将超长回复计为失败可将其推向相反符号；其余部分，即优势与采样器锐度差距之间的协方差，可在长时程上反馈。在 2B 模型上，熵斜率在截断采样下与净优势偏移呈线性关系，而在精确采样下与平坦无法区分，token 级重要性比率留下 98% 的漂移。在 100 步运行中，净零基线仅延迟了精确采样未显示的熵爆炸，固定正偏移进一步延迟它，而按锐度差距加权的基线保持熵稳定且不改变学习器。在 9B 推理模型的十步运行中，未校正规则损失了留出准确率，而将净优势归零或重新归一化学习器分别比其获得 8.2 和 8.8 分，在精确采样下无留出效应。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34044 [cs.LG] |
| （或此版本的 arXiv:2610.34044v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.34044 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiyuan Wang [查看电子邮件]
[v1]
2026年10月25日星期日 04:11:38 UTC（159 KB）
来源：arXiv cs.AI · arxiv.org