arXiv cs.AI· Liangyao Jin, Zhixin Wang, Liming Liu, Mingjun Zhang, Zhengzhou Zhu, Fangcheng Fu, Jinlong Hou, Yuan Cheng, Xiaohe Hu, Ping Zhang, Siyuan Feng·· 2 天前AI 评分22
Router Drift Control：缓解 MoE 强化学习中的离策略退化
Router Drift Control: Mitigating Off-Policy Degradation in Mixture-of-Experts Reinforcement Learning
AI 导读
针对 MoE 模型强化学习中 rollout 与训练路由不一致导致的 router drift，研究者提出 Router Drift Control（RDC），以路由分歧作为离策略陈旧度信号，在序列级别过滤高漂移响应，避免 R3 路由重放带来的梯度偏差。
正文 · AI 翻译
作者：Liangyao Jin、Zhixin Wang、Liming Liu、Mingjun Zhang、Zhengzhou Zhu、Fangcheng Fu、Jinlong Hou、Yuan Cheng、Xiaohe Hu、Ping Zhang、Siyuan Feng
摘要：强化学习（RL）会因训练-推理不匹配、小批量更新以及异步 this http URL 而变为离策略。这种不匹配在混合专家（MoE）模型中尤其有害，因为 rollout 与训练之间的差异会改变路由决策并导致路由器漂移。Rollout Routing Replay（R3）通过在训练期间复用 rollout 阶段的专家选择来缓解这种不匹配。我们的分析表明，路由重放会因丢失训练路由器选中而 rollout 路由器未选中的专家的贡献而引入梯度偏差。为解决这一问题，我们提出 Router Drift Control（RDC），它将 rollout 与训练之间的路由分歧作为离策略陈旧度的信号，并有选择地拒绝高漂移响应。序列级过滤避免了重放引入的梯度偏差，同时保留了原生专家选择以及被保留响应相关的学习信号。实验表明，随着策略陈旧度增加，RDC 能获得更大的收益，并且在异步 RL 中仍然有效。在异步训练中，RDC 结合 Truncated Importance Sampling（TIS）在 AIME 2024 和 AIME 2025 上的平均峰值验证准确率相比 TIS 提升 5.5 分，相比 R3 提升 4.5 分。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21682 [cs.LG] |
| （或 arXiv:2610.21682v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21682 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhixn Wang [查看电子邮件]
[v1]
2026年10月15日星期四 11:09:10 UTC（562 KB）
来源：arXiv cs.AI · arxiv.org