arXiv cs.AI· Julian Poeltl, Thomson Yen, Patrick Shea, Shubham Anil Varma, Dhruv Rastogi, Zihao Chen, Mengshi Zhang, Hongseok Namkoong·· 11 小时前AI 评分34
MBABench-2.0：评估 AI 智能体从零构建财务电子表格的能力
MBABench-2.0: Evaluating AI Agents on Constructing Financial Spreadsheets Beyond Simple Verifiability
AI 导读
MBABench-2.0 是一个包含 101 个原创电子表格构建任务的基准，最难任务估计需 3 年以上经验建模师耗时 33 小时。该基准用覆盖 12 类的 129 项标准评估可读性、可维护性等超出准确性的质量维度，对 8 个模型、4 种 harness 的 20 多个智能体测试中，最佳智能体通过率仅 16%。
正文 · AI 翻译
摘要：电子表格是现代金融的通用语言，驱动着估值、预测、审计以及该行业的许多其他核心工作流程。随着 LLM 智能体不断推进知识工作的自动化，电子表格构建成为一个自然且相关的测试平台。然而，现有的大多数电子表格基准测试都以填空式任务来评估智能体，即智能体在原本完整的电子表格中进行小幅编辑。这种评估方式未能捕捉到电子表格工作流程中最核心、最耗时的部分：普通知识工作者从零构建工作簿时需要费力完成的建模决策、格式设计和表格布局。我们推出 MBABench-2.0，这是一个包含 101 个原创电子表格构建任务的基准测试，其中最难的任务估计需要一位拥有 3 年以上经验的建模师花费 33 小时。与编程或数学不同——在那些领域，单元测试或最终答案可以验证智能体的输出——涉及可读性、可维护性或可审计性的财务电子表格质量并不那么容易验证。为了全面评估电子表格构建，我们引入了涵盖 12 个类别的 129 项标准，将质量操作化到电子表格准确性之外。我们评估了 8 个模型、4 种 harness 类型下的 20 多个智能体，发现前沿智能体很少能构建出既准确又符合我们质量标准要求的电子表格：表现最好的智能体在该基准测试上的通过率仅为 16%。该基准测试表明，当前智能体在电子表格构建能力上存在显著差距。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31711 [cs.SE] |
| （或 arXiv:2610.31711v1 [cs.SE] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.31711 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Thomson Yen [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 02:30:05 UTC（2,385 KB）
来源：arXiv cs.AI · arxiv.org