arXiv cs.CL· Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister·· 11 小时前AI 评分35
RubricEM：用评分标准引导策略分解的元强化学习框架，超越可验证奖励
RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
AI 导读
RubricEM 是一个面向深度研究智能体的统一强化学习框架，结合分阶段信用分配与基于反思的元强化学习实现经验复用。该框架先用监督微调让智能体学会用评分标准规划并将轨迹组织为语义阶段，再以 Stage-Structured GRPO 优化任务策略，同时异步训练共享骨干的反思元策略。RubricEM-8B 在四个长文研究基准上超越更大规模的开源模型，接近专有深度研究系统。
正文 · AI 翻译
作者：Gaotang Li、Bhavana Dalvi Mishra、Zifeng Wang、Jun Yan、Yanfei Chen、Chun-Liang Li、Long T. Le、Rujun Han、George Lee、Hanghang Tong、Chen-Yu Lee、Tomas Pfister
摘要：深度研究智能体负责规划、搜索、评估证据并综合撰写长篇报告。用强化学习（RL）训练这类智能体颇具挑战，因为它们需要在长时程上运作，且其输出缺乏精确的答案验证器。为此，我们提出 RubricEM，一个面向深度研究的统一 RL 框架，它将分阶段信用分配与基于反思的元强化学习相结合以实现经验复用。评分标准（Rubrics）通过为策略执行、评判反馈和经验复用提供统一接口，使该框架得以统一。RubricEM 首先通过监督微调注入评分标准引导的脚手架，教会智能体用评分标准进行规划，并将其轨迹组织为语义阶段。基于这一结构先验，我们用阶段结构化 GRPO 优化任务策略，利用分阶段评判反馈实现更细粒度的信用分配。同时，我们异步训练一个共享骨干的反思元策略（采用元强化学习），将已完成的轨迹蒸馏为可复用的指导，并通过共享参数更新和文本记忆两方面做出贡献。由此得到的 RubricEM-8B 模型在四个长篇研究基准上取得强劲表现，优于现有更大规模的开源模型，并接近专有深度研究系统。除最终性能外，我们还进行了充分的受控分析，以理解 RubricEM 的关键要素。
| 评论： | 67 页，6 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.10899 [cs.CL] |
| （或 arXiv:2605.10899v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2605.10899 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gaotang Li [查看邮箱]
[v1]
2026年5月11日星期一 17:40:38 UTC（2,225 KB）
[v2]
2026年10月16日星期五 11:35:29 UTC（645 KB）
来源：arXiv cs.CL · arxiv.org