arXiv cs.AI· Delin Wang, Sinuo Wang, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 13 小时前AI 评分38
RubricAtlas：从专家报告中挖掘类型级评分标准，评估深度研究智能体
RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents
AI 导读
RubricAtlas 从 3,079 份中文金融研究报告构建覆盖 99 种研究类型的类型级评分标准，用于评估深度研究智能体的分析完整性。实验显示单份报告仅覆盖其类型约一半的分析问题，选取不同报告的要求会改变评估分数与智能体排名；在十个智能体上，两条评审流水线达到 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的排名一致性。
正文 · AI 翻译
摘要：深度研究智能体执行多步网络搜索，并将检索到的信息综合为分析报告。评估这些输出需要检查它们提供了哪些分析，而不仅仅是是否包含相关事实。针对查询的二元评分细则使各项要求变得明确，但任务级检查清单可能使整体分析结构得不到充分考察。我们提出 RubricAtlas，它从同一研究类型下不同对象的专家报告中提炼出类型级分析要求，并围绕反复出现的分析问题组织细粒度检查。这些要求为相关任务提供了关于分析内容的共同标准，而不规定其答案。我们的框架将二元检查点与报告段落关联，并将完整性与论证有效性分开评估。RubricAtlas 基于 3,079 份中文金融研究报告构建，覆盖 99 种研究类型。参考报告选择实验表明，单份报告仅覆盖其所属类型约一半的分析问题，且从不同报告中选择要求会改变评估分数和智能体排名。在十个智能体上，两个评判流程达到检查点一致性 $\kappa$ = 0.71，智能体排名一致性 Kendall $\tau$ = 0.87。受控删除会降低受影响分析的分数，而填充则不会产生可检测的提升。这些发现支持使用类型级评分细则来比较网络深度研究输出的分析完整性，且各项判断可追溯到报告证据。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36878 [cs.AI] |
| （或 arXiv:2610.36878v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36878 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zuo Bai [查看电子邮件]
[v1]
2026年10月27日星期二 09:18:00 UTC（188 KB）
来源：arXiv cs.AI · arxiv.org