arXiv cs.CL· Minghang Zhu, Chuyang Wei, Junhao Xu, Yilin Cheng, Zhumin Chen, Jiyan He·· 3 天前AI 评分31
DeepRubric：用证据树评分标准监督高效强化学习深度研究智能体
DEEPRUBRIC: Evidence-Tree Rubric Supervision for Efficient Reinforcement Learning of Deep Research Agents
AI 导读
DeepRubric 提出一种数据构建框架，先确定有证据支撑的报告应被评估什么，再反向合成对齐的 query–rubric 对，用证据树递归扩展子问题、以叶子节点作为可验证评估目标。
正文 · AI 翻译
摘要：深度研究智能体通过对检索到的证据进行搜索和推理来合成长篇报告。基于评分标准的奖励强化学习通过针对可核查的标准进行优化来改进这些智能体，这些标准将报告质量转化为奖励信号，但其效率取决于这些标准能否可靠地捕捉任务范围和证据需求。大多数现有研究让 LLM 为给定查询生成评分标准，但当模型未能推断出潜在的信息需求时，生成的评分标准可能不完整，从而降低 RL 效率。为了获得更可靠的查询—评分标准监督，我们提出了 DeepRubric，一个反转这一过程的数据构建框架：它不是为给定查询推断评估标准，而是首先确定一份有证据支撑的报告应依据什么来评估，然后从这些评估目标合成对齐的查询—评分标准对。从一个采样的种子主题出发，DeepRubric 通过递归扩展有证据支撑的子问题来构建证据树，其叶子节点作为原子化且可验证的评估目标。随后它利用证据树合成训练查询和评分标准，确保奖励恰好评估查询所要求的信息。使用 DeepRubric，我们构建了 9K 个查询—评分标准监督示例，并用基于评分标准的 GRPO 训练了 DeepRubric-8B，在三个基准上取得了与先前开放最先进深度研究模型相当的性能，而 RL GPU 小时数大约减少了 13 倍。
| 评论： | EMNLP 2026 主会议 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.17029 [cs.CL] |
| （或 arXiv:2606.17029v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.17029 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Minghang Zhu [查看电子邮件]
[v1]
2026年6月15日星期一 17:52:27 UTC（1,076 KB）
[v2]
2026年10月14日星期三 09:24:07 UTC（1,087 KB）
来源：arXiv cs.CL · arxiv.org