arXiv cs.CL· Shenghao Ye, Yu Guo, Zhengheng Li, Qiang Huang, Shuangwu Chen, Wang Luo, Qian Rui, Jie Zhang, Tao Zhang, Dong Jin, Xiaobin Tan, Quan Zheng, Jian Yang·· 11 小时前AI 评分27
RoRo：用评分标准引导的过程奖励优化逐步模型路由
Rubric-Guided Process Reward for Stepwise Model Routing
AI 导读
针对逐步模型路由中结果奖励无法评估中间路由决策的问题，研究者提出 RoRo 框架，通过构建基于结果、成本与过程质量的路由轨迹偏好对，交替训练 Rubricor 生成查询专属评分标准、Judge 据此打分，得到的过程奖励与结果奖励结合后用 GRPO 优化路由策略。在五个推理基准的同族与跨族设置下，RoRo 均优于强基线，取得更好的准确率与成本权衡。
正文 · AI 翻译
作者：Shenghao Ye、Yu Guo、Zhengheng Li、Qiang Huang、Shuangwu Chen、Wang Luo、Qian Rui、Jie Zhang、Tao Zhang、Dong Jin、Xiaobin Tan、Quan Zheng、Jian Yang
摘要：逐步模型路由通过将每个推理步骤分配给合适的模型，提升了大推理模型（LRM）的效率。近期方法将路由建模为序列决策过程，并用强化学习训练路由器。然而，尽管它们将路由建模为一个过程，却仍以结果奖励监督路由器。此类奖励仅反映最终答案的正确性，无法评估中间路由决策，从而可能削弱性能与泛化能力。为弥补这一不足，我们提出 RoRo，一个面向逐步模型路由的评分标准引导过程奖励框架。RoRo 首先收集多样化的路由轨迹，并基于结果、成本和过程质量构建偏好对。随后训练 Rubricor 生成针对查询的评估评分标准，并训练 Judge 在该标准下对路由轨迹打分，二者交替优化。所得过程奖励与结果奖励结合，通过 GRPO 优化路由策略。在同家族与跨家族设置下的五个推理基准上的实验表明，RoRo 始终优于强基线，并实现了更好的准确率与成本权衡。
| 评论： | 17 页，9 幅图，已被 EMNLP 2026 Main 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.29310 [cs.AI] |
| （或 arXiv:2605.29310v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.29310 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ye Shenghao [查看邮箱]
[v1]
2026年5月28日 星期四 03:42:24 UTC（465 KB）
[v2]
2026年9月19日 星期六 15:25:58 UTC（475 KB）
[v3]
2026年11月1日 星期日 02:30:45 UTC（475 KB）
来源：arXiv cs.CL · arxiv.org