arXiv cs.AI· Hei Yi Mak, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Huan Lin, Zhengzhi Tang, Zhexu Liu, Yao Wang, Yaoyuan Wang, Anandharaju Durai Raju, Tanzila Rahman·· 10 小时前AI 评分31
MoEResQ：为 MoE 大模型端到端 FP4 强化学习对齐训练与推理策略
Aligning Training and Rollout Policies for End-to-End FP4 RL on Mixture-of-Experts LLMs
AI 导读
研究提出 MoEResQ，一种面向 MoE 大模型 FP4 强化学习后训练的量化恢复方案，通过强制训练侧与推理侧修正对称，恢复训练-推理对齐并大幅缩小与全精度的准确率差距。
正文 · AI 翻译
作者：Hei Yi Mak、Hoang Le、Mehran Taghian Jazi、Yunke Peng、Huan Lin、Zhengzhi Tang、Zhexu Liu、Yao Wang、Yaoyuan Wang、Anandharaju Durai Raju、Tanzila Rahman
摘要：在本工作中，我们研究了面向混合专家（MoE）大语言模型的端到端 FP4 强化学习（RL）后训练。近期关于 FP4 RL 的工作提出了有效的恢复方案，可在激进的低精度量化下为稠密模型恢复精度，但我们发现，在 MoE 场景下，同样的方法相比朴素的 FP4 基线并无提升。我们进行了深入研究以理解其中原因。我们的分析将根本原因定位在 MoE 特有的路由机制上：由于路由器做出离散的专家选择决策，训练-推理策略对齐对训练侧与推理侧是否对称地应用同一恢复技术变得极为敏感。当使用非对称方案时——包括仅做修正的稠密模型方法——rollout-训练-推理对齐会急剧恶化，这可通过训练与推理概率之间的皮尔逊相关系数以及路由器选择匹配率来衡量。基于这一发现，我们提出 MoEResQ，一种用于 MoE RL 后训练的量化恢复方案，它强制训练侧与推理侧修正之间保持对称。MoEResQ 恢复了训练-推理对齐，并大幅缩小了与全精度的精度差距，确立了对称恢复作为 MoE 模型 FP4 RL 中的关键原则。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.04376 [cs.LG] |
| （或本版本使用 arXiv:2611.04376v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.04376 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hei Yi Mak [查看邮箱]
[v1]
2026年11月3日 星期二 06:03:38 UTC（751 KB）
[v2]
2026年11月4日 星期三 03:54:17 UTC（751 KB）
来源：arXiv cs.AI · arxiv.org