arXiv cs.AI· Yu Li, Yufa Zhou, Tian Lan·· 1 天前AI 评分34
研究揭示 LLM 强化学习中训练-推理不匹配的起源与演化，并提出 DLC 修正方法
On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning
AI 导读
研究将 LLM 强化学习中的训练-推理不匹配拆解为推理引擎的数值差异与异步采样的策略滞后两类来源，前者近似恒定、后者经训练器更新形成反馈回路。
正文 · AI 翻译
摘要：针对大语言模型的同策略强化学习假设训练回复是从当前策略中采样得到的。在实践中，推理引擎负责采样回复，而单独的训练器负责计算梯度，两者之间的\textbf{训练-推理不匹配}使得训练数据成为离策略数据。这种不匹配有两个来源：引擎的数值计算，以及异步采样导致的权重陈旧；针对其中一个来源能稳定训练的校正方法，在另一个来源下可能失效。\textit{我们追问：不匹配来源的哪种性质决定了它所需的校正方式。}在采样器的权重下评估训练器，可将每个采样 token 的误差精确拆分为引擎的\textit{数值差异}与训练器的\textit{策略滞后}，我们全程跟踪这两者在训练中的变化。数值差异基本保持恒定，因此它以近乎固定的量使更新产生偏差，而在每个前缀处对得分进行中心化可消除其主导偏差。策略滞后由训练器自身的更新产生：它留下的偏差进入下一次更新，进而放大下一次滞后，形成反馈回路。重要性加权只有在滞后比保持集中时才能切断这一回路，而在 Qwen3-1.7B 上，当该比值的有效样本量降至一半以下时，重要性加权便失效。基于这一分析，我们推导出\textbf{差异-滞后校正}（DLC），它对数值差异进行中心化，以采样器的权重为基准对滞后比进行裁剪，并在有效样本量降至一半以下时重新同步采样器。在采样器陈旧的条件下，DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上使训练与同策略训练之间的 KL 散度保持在两次独立同策略训练之间 KL 的两倍以内，并且其重新同步机制可防止逐 token 校正所遗留的、以及在采样器前缀上测得的 KL 无法检测到的崩溃。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40945 [cs.LG] |
| （或 arXiv:2610.40945v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40945 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yu Li [查看邮箱]
[v1]
2026年10月29日 星期四 20:23:04 UTC（581 KB）
来源：arXiv cs.AI · arxiv.org