arXiv cs.AI· Ritiz Tambi, Sahar Shayegan, Joshua Meyer, Sun Kim, Ali Khan, Victor Shih, Mehdi Jamei, Andi Partovi·· 13 小时前AI 评分45
TreasuryQA Bench：AI 智能体能否处理扫描版财务档案？
TreasuryQA Bench: Can AI Agents Work an Archive of Scanned Financial Records?
AI 导读
TreasuryQA Bench 要求 AI 智能体在 1,435 份扫描版美国财政部出版物中检索并读取文件，回答 70 道需给出精确数字的题目。表现最好的 Claude Opus 5.5（Claude Code）解决 64.8% 的尝试，最差的 GPT-5.6 Terra（Codex）仅 16.7%，基准远未饱和。扫描质量越差各智能体成功率越低，多数失败是读错数字而非拒答。
正文 · AI 翻译
摘要：各组织将数十年的财务记录以扫描版 PDF 的形式保存在共享驱动器上，而 AI 智能体现在可以通过模型上下文协议（MCP）服务器访问这些驱动器。现有基准测试无法反映这一生产环境，因为它们简化了任务。在某些基准中，相关文档会直接交给智能体，因此它无需搜索。在另一些基准中，智能体在带有预提取文本的文档中进行搜索，因此它无需读取扫描图像。我们推出 TreasuryQA Bench，它同时要求这两项能力：70 个问题，覆盖 1,435 份扫描版美国财政部出版物，这些出版物保存在 Veris 的高保真 Dropbox 副本中。在每个任务中，智能体通过 Dropbox 的 MCP 服务器搜索相关文件，使用 Reducto 的托管 OCR 服务器或其自有工具读取所需页面，并回复一个精确数字。Python 评分器会将每个答案与正确值附近的可接受范围进行核对。在本文中，我们展示了十个智能体的结果。表现最好的 Claude Opus 5.5 在 Claude Code 中解决了 64.8% 的尝试，而表现最差的 GPT-5.6 Terra 在 Codex 中解决了 16.7%，因此该基准远未饱和。我们还测试了扫描质量对性能的影响：每个智能体在最模糊的扫描件上解决的任务都更少。大多数失败的尝试回复的是错误数字，而不是没有数字，最常见的原因是从扫描件中误读了一位数字。文中还附有三个带答案的示例。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.38924 [cs.AI] |
| （或 arXiv:2610.38924v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38924 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sahar Shayegan [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 21:17:16 UTC（3,354 KB）
来源：arXiv cs.AI · arxiv.org