arXiv cs.AI· Daniel Rupawalla·· 13 小时前AI 评分38
Bank-World：评估智能体银行工作流能力的基准
Bank-World: A Benchmark for Evaluating Agents on Banking Workflows
AI 导读
Bank-World 是一个包含 50 项银行任务、覆盖两家模拟机构的基准，通过单轮任务与多轮交互测试智能体在记录核对、权限获取、交易执行和状态报告一致性上的表现。四个模型共 1,600 次尝试中，正确决策常未能转化为完成的工作：智能体重复收费、在收款人之间错误分配正确总额、在审批未完成时执行付款。Sol 单轮完成率领先，Opus 多轮完成率最高，Grok 成功的多轮任务更多但稳定性较差。
正文 · AI 翻译
摘要：Bank-World 是一个基准，包含跨两家模拟机构的 50 项银行业务任务。完成银行业务工作不仅需要得出正确的计算结果：智能体还必须核对记录、获得许可、执行交易，并在情况变化时保持指令和状态报告一致。Bank-World 通过单轮任务以及与模拟员工的多轮交互来测试这些要求，这些员工会提供信息、批准操作并修改指令。评分结合了对已记录操作和状态的可执行检查，以及对任务要求的模型判断，包括有效的替代解决方案是否满足这些要求。在四个模型进行的 1,600 次尝试中，我们发现正确的决策往往未能转化为已完成的工作。智能体会重复收费、将正确的总额以错误的金额分配给收款人，并在审批待定时执行付款。它们的优势也各不相同：Sol 在单轮完成方面领先，Opus 的观测多轮完成率最高，而 Grok 在更多多轮任务中取得成功，但一致性较低。Bank-World 通过任务级结果和将源证据、智能体决策与模拟后果联系起来的示例，使这些差异可供检查。我们私下保留任务环境、可执行评分器和完整轨迹，以减少污染并为未来评估保留该基准。
| 评论： | 43 页，3 幅图，包括附录。辅助文件包含任务 ID 映射、奖励规范和单轮检查权限映射 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39733 [cs.AI] |
| （或 arXiv:2610.39733v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.39733 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Rupawalla [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 09:59:39 UTC（88 KB）
来源：arXiv cs.AI · arxiv.org