arXiv cs.AI· Elaine Lau, Antoine Pangas, Alexandre Finot, Collin Schweiker, Amir Bouzidi, Hui Wen Goh, Andrew Peter Martin, Jonas Mueller·· 4 小时前AI 评分58
ATLAS-Finance:在真实银行环境中评测 AI 智能体的基准
ATLAS-Finance: Benchmarking AI Agents in Realistic Banking Environments
AI 导读
ATLAS-Finance 是一个包含 100 个端到端投资银行任务、覆盖 13 家模拟公司的基准,由资深银行家基于真实交易工作设计,单个任务需 15-30 小时完成。智能体需在邮件、聊天、日历、笔记和文件中检索信息、调和冲突与更新,再构建复杂财务模型,交付物由专家撰写的评分标准评估(中位数 124.5 条)。当前前沿模型中表现最好的 Claude Opus 和 Fable 通过率不足 11%。
正文 · AI 翻译
摘要:专业工作涉及规格不明确的委派任务,其中相关信息分散于各类办公应用中,且可能相互冲突或随时间变化。为评估前沿智能体在此类环境中执行具有经济价值工作的能力,我们推出 ATLAS-Finance,这是一个涵盖 13 家模拟公司、包含 100 项端到端投资银行任务的基准测试。与真实银行业务流程一致,智能体必须检索电子邮件、聊天记录、日历、笔记和文件,以识别需求、收集信息、协调冲突与更新,然后构建复杂的财务模型。这些任务由经验丰富的银行家根据其真实交易工作开发,完成每项任务需耗时 15 至 30 小时。智能体的交付成果由专家编写的评分标准(中位数:124.5 项标准)评估,涵盖财务逻辑与结果、电子表格构建、完整性和格式。尽管当前智能体完成了所要求工作的相当大一部分,但很少能产出正确的交付成果。在当今的前沿模型中,表现最佳者(Claude Opus 和 Fable)通过的任务不足 11%。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22085 [cs.AI] |
| (或 arXiv:2611.22085v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22085 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Elaine Lau [查看邮箱]
[v1]
2026年11月17日星期二 02:12:40 UTC(336 KB)
来源:arXiv cs.AI · arxiv.org