arXiv cs.AI· Hoyoung Lee, Suyeol Yun, Jack Haverty, Yunju Cho, Meesong Kim, Daekyung Park, Sumin Kim, Jihoon Kwon, Jasmine Jia Geng, Andrew Chin, Yin Luo, Edward Tong, Yu Yu, Zach Golkhou, Minkyu Kim, Igor Halperin, Young Cha, Alejandro Lopez-Lira, Chanyeol Choi, Yongjae Lee·· 14 小时前AI 评分31
FinAutoRubric：面向金融研究智能体评测的专家引导自动评分标准生成
FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents
AI 导读
FinAutoRubric 让专家只提供可复用的评测指引，由智能体与代码完成针对具体查询的评分标准生成、审查与验证，失败案例升级给人工处理。在三个专家编写的金融基准上，其评分标准与专家评分的接近程度达到所评估生成器中最强水平，并在更多标准上给出专家评分标准的期望值。团队同时发布 100 条查询的 FinAutoRubric Benchmark，覆盖 78 个任务和八类资产。
正文 · AI 翻译
作者：Hoyoung Lee、Suyeol Yun、Jack Haverty、Yunju Cho、Meesong Kim、Daekyung Park、Sumin Kim、Jihoon Kwon、Jasmine Jia Geng、Andrew Chin、Yin Luo、Edward Tong、Yu Yu、Zach Golkhou、Minkyu Kim、Igor Halperin、Young Cha、Alejandro Lopez-Lira、Chanyeol Choi、Yongjae Lee
摘要：评估金融研究智能体需要能够反映专家标准、并将取值固定为信息截止时点正确值的评分规则。经专家评审的金融基准依赖固定的逐项评分规则，扩展成本高昂，且无法编码各机构自身的标准。在 FinAutoRubric 中，专家指定可复用的评估指南，而智能体和代码负责执行针对具体查询的评分规则生成、审查与验证。该专家指南以提示词和代码强制执行的规则两种形式约束每个智能体，而一个可复用标准的任务库（Task Bank）将其贯穿于各项任务。在遵循专家指南的长周期循环中，一个撰写智能体研究每个预期值，一个审查智能体对其进行验证，失败情况则上报给人工。在三个由专家编写的金融基准上，其评分规则与专家评分的吻合程度与所评估的最强生成器相当，同时为更多标准给出了专家评分规则的预期值，其得分与人工评分一致，且内部分析师在盲审中更偏好这些规则。发布的 100 条查询的 FinAutoRubric Benchmark 基于内部分析师在 78 项任务和八个资产类别中的关键问题构建，表明来自较早模型世代的评分规则仍为较晚世代留有提升空间。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI）；计算金融（q-fin.CP） |
| 引用为： | arXiv:2609.35744 [cs.AI] |
| （或 arXiv:2609.35744v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2609.35744 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hoyoung Lee [查看邮箱]
[v1]
2026年9月28日星期一 17:55:06 UTC（659 KB）
[v2]
2026年10月26日星期一 16:04:01 UTC（829 KB）
来源：arXiv cs.AI · arxiv.org