arXiv cs.AI· Shu Zhou, Ziyang He, Yuxin Rao, Yudong Fang, Jiali Qian, Dongyuan Chen, Juntao Zhang, Yong Hu·· 10 小时前AI 评分37
AgenticFinBench：面向真实世界请求的金融智能体多任务基准
AgenticFinBench: Benchmarking Financial Agents on Diverse Tasks from Real-World Requests
AI 导读
研究团队推出 AgenticFinBench，包含 230 个真实金融任务，覆盖 8 个类别、2 种语言和 4 个复杂度等级，并配套无参考答案的评估框架，结合任务专属评分标准与两阶段声明审计来检测幻觉。
正文 · AI 翻译
摘要：金融智能体正成为现实世界 AI 系统中重要的一类。金融任务在类型和难度上差异很大，许多任务具有开放性，没有标准答案。然而，现有基准既未能涵盖这种广度和开放性，也未能将依据与正确性区分开来。为弥补这一空白，我们推出 $\textbf{AgenticFinBench}$，这是一个包含 230 个真实世界金融任务的基准，涵盖 8 个类别、2 种语言和 4 个复杂度级别。我们还提出了一个无参考评估框架，它将针对具体问题的评分标准与两阶段声明审计相结合，后者可检测幻觉，即智能体轨迹中不存在且被外部证据驳斥的声明。该框架更符合实践中评估金融工作的方式。在 18 种智能体配置上进行的实验揭示了三个关键发现：(1) 忽略幻觉会高估智能体表现：幻觉审计使基线领先者的得分降低 7.58 分，并使其降至第四位。(2) 框架差异比模型差异更能解释证据依据方面的变化（28.6% 对 8.8%）。(3) 质量得分从直接检索的 89.44 降至最复杂任务的 79.18。案例研究表明，智能体难以解释事件如何影响公司利润或股价、难以在一致的基础上比较财务数据，也难以证明其结论的合理性。通过发布 AgenticFinBench，我们旨在推进金融推理、事实核查和智能体设计，以便更可靠地响应各种现实世界的金融请求。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.04813 [cs.AI] |
| （或 arXiv:2611.04813v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.04813 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shu Zhou [查看电子邮件]
[v1]
2026年11月3日星期二 12:43:10 UTC（7,968 KB）
[v2]
2026年11月4日星期三 03:29:04 UTC（7,968 KB）
来源：arXiv cs.AI · arxiv.org