arXiv cs.CL· Guanzhi Deng, Zengyan Liu, Haibo Wang, Kuan Wu, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song·· 12 小时前AI 评分34
强 MoE 模型即可实现过程监督：利用专家路由构建 PRM
A Strong MoE Is All You Need for Process Supervision
AI 导读
研究提出利用 MoE 模型的专家路由统计作为内在过程置信信号，其效果可与传统输出 logit 置信度竞争。基于此构建的 RoCo-Rethink 能定位最不确定的推理步骤并选择性重新生成后续轨迹，RoCo-PRM 则用强 MoE 自动标注步骤分数并蒸馏为独立 PRM。在多种 MoE 架构和推理任务上，两者均持续优于强基线，且 RoCo-PRM 可跨模型架构与任务迁移。
正文 · AI 翻译
摘要：过程奖励模型（PRM）为多步推理提供细粒度监督，但获取可靠的过程标签仍是核心瓶颈。现有方法通常依赖人工标注、基于 rollout 的估计或辅助验证。在本工作中，我们探索了混合专家（MoE）模型原生暴露的一种不同的过程监督来源：专家路由。我们表明，简单的路由统计量提供了一种内在的过程置信度信号，其效果可与传统的输出 logit 置信度相媲美。基于这一观察，我们通过结合整体路由质量、头路由质量和步内路由变化来构建路由置信度，并提出 RoCo-Rethink，它识别置信度最低的推理步骤，并有选择地重新生成后续轨迹。我们进一步提出 RoCo-PRM，它使用一个强大的 MoE 模型，以路由推导的步骤分数自动标注推理轨迹，并将其蒸馏到一个独立的 PRM 中。在多种 MoE 架构和多样化的推理任务上，RoCo-Rethink 和 RoCo-PRM 均持续优于强基线，同时 RoCo-PRM 能在模型架构和任务之间有效迁移。我们的发现表明，专家路由不仅仅是一种计算调度机制：它为推理提供了一种架构原生的过程监督来源。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29498 [cs.CL] |
| （或 arXiv:2610.29498v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29498 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guanzhi Deng 先生 [查看邮箱]
[v1]
2026年10月21日 星期三 09:51:01 UTC（406 KB）
来源：arXiv cs.CL · arxiv.org