arXiv cs.AI· Guanqun Zhao, Zijun Xie, Binbin Zheng, Yehan Yang, Jiafeng Lu, Aoqi Hu, Enlei Gong, Zeyu Chen·· 9 天前AI 评分24
解构 Off-Policy 比率：面向异步强化学习的熵归一化信任域 ENTR
Deconstructing Off-Policy Ratios: Entropy-Normalized Trust Regions for Asynchronous Reinforcement Learning
AI 导读
针对异步强化学习中陈旧 off-policy 数据导致训练不稳定甚至策略崩溃的问题，研究者提出熵归一化信任域（ENTR），指出比率尺度由 token 熵决定，并识别出会放大训练-推理失配的低熵区间。在长程智能体任务与数学推理基准上，ENTR 在 BrowseComp-Plus 上 avg@1 较最强基线提升 6.9%，可稳定训练至 30 个策略版本的陈旧度，并以 2.6 倍加速匹配同步 GRPO。
正文 · AI 翻译
摘要：异步强化学习（RL）通过将 rollout 生成与策略优化重叠来加速大语言模型（LLM）后训练，但由此产生的陈旧、离策略数据会破坏优化稳定性，并可能导致策略崩溃。现有方法仅依据比率大小对 token 进行门控，在每个位置应用同一个阈值。我们表明，比率的自然尺度由 token 熵决定，因此偏离轨迹中段权重更新的偏差仍处于该尺度之内，并携带真实的探索。我们进一步识别出一个被忽视的低熵区域，它打破了这种尺度关系：在该区域中，接近零的概率会将训练-推理不匹配放大为远超局部熵所允许范围的噪声。基于幅度的阈值会接纳这种噪声，同时丢弃探索。因此，我们提出熵归一化信任域（ENTR）。在长时程智能体任务和数学推理基准上，ENTR 优于现有的异步方法。在 BrowseComp-Plus 上，其 avg@1 相比最强基线提升 $6.9\%$，在高达 $30$ 个策略版本的陈旧度下仍能稳定训练，并以 $2.6\times$ 的加速比达到与同步 GRPO 相当的性能。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.22186 [cs.AI] |
| （或此版本的 arXiv:2607.22186v5 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.22186 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guanqun Zhao [查看邮箱]
[v1]
2026年7月24日星期五 10:55:42 UTC（1,596 KB）
[v2]
2026年7月31日星期五 03:34:43 UTC（1,594 KB）
[v3]
2026年8月3日星期一 08:59:46 UTC（1,594 KB）
[v4]
2026年10月3日星期六 13:19:19 UTC（1,818 KB）
[v5]
2026年10月8日星期四 09:42:34 UTC（1,844 KB）
来源：arXiv cs.AI · arxiv.org