arXiv cs.AI· Shiye Lei, Zhihao Cheng, Dacheng Tao·· 10 小时前AI 评分31
用前缀重要性比率稳定 off-policy LLM 优化：MinPRO 方法
Stabilizing Off-policy LLM Optimization with Prefix Importance Ratio
AI 导读
针对 off-policy 强化学习后训练中策略滞后导致的训练不稳定问题，研究者提出 Minimum Prefix Ratio（MinPRO）目标，用前缀内最小 token 级比率构成的有偏非累积替代量替换不稳定的累积前缀比率。
正文 · AI 翻译
摘要：强化学习（RL）后训练已日益展现出在大语言模型（LLM）中激发推理行为的强大能力。为提升训练效率，rollout 通常以离策略方式使用较旧的采样策略生成，然后用于更新当前目标策略。为校正由此产生的采样策略与目标策略之间的差异，现有大多数 RL 目标依赖 token 级重要性采样比。然而，我们观察到在大策略滞后下，现有重要性加权目标的训练动态不稳定。本文重新审视离策略条件下的 LLM 策略优化，并表明前缀边际策略梯度的精确校正量是累积前缀重要性比。token 级加权并未显式校正这种前缀分布偏移。为在大离策略漂移下稳定 LLM 优化，我们提出一种简单而有效的目标——最小前缀比（MinPRO）。MinPRO 用基于前序前缀中观测到的最小 token 级比值的有偏、非累积替代量，替换不稳定的累积前缀比。在稠密与混合专家 LLM 上、跨多个数学推理基准的大量实验表明，MinPRO 在离策略情形下显著提升了训练稳定性和峰值性能。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2601.22718 [cs.AI] |
| （或本版本的 arXiv:2601.22718v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2601.22718 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shiye Lei [查看邮箱]
[v1]
2026年1月30日星期五 08:47:19 UTC（308 KB）
[v2]
2026年11月4日星期三 06:52:42 UTC（246 KB）
来源：arXiv cs.AI · arxiv.org