arXiv cs.CL· Tianlei Zhu, Matt White, Xue Liu, Xiao-Yang Liu·· 14 小时前AI 评分38
NumTrace：审计金融分析师智能体的数字溯源基准
NumTrace: Auditing the Number Provenance of Financial Analyst Agents
AI 导读
NumTrace 是一个审计金融分析师智能体数字声明溯源的新基准，包含 540 个问题、覆盖 2,163 份 SEC EDGAR 文档，据称是首个针对 Form 13F 持股与 Item 402(i) 高管薪酬的数值基准。
正文 · AI 翻译
摘要：金融分析师智能体生成的数值论断可能与公司文件中的某个数字相符，但指向了错误的实体、概念、期间、单位或范围。基于参考答案的检查可以将此类答案判为错误，但无法解释其失败原因。本文提出 NumTrace，这是一个新基准，用于审计金融分析师智能体所提出的每一条数值论断的来源：其出处与金融语义。NumTrace 目前包含 2,163 份 SEC EDGAR 文档上的 540 个问题。据我们所知，这是首个关于谁持有公司股份（Form 13F）以及公司高管应得多少报酬（Item 402(i)）的数值基准。在这些文档的冻结快照上，我们依据会计规则构建参考答案。随后，NumTrace 对每条论断给出三个独立判定：数值、绑定与支持。通过保留独立的数值判定与绑定判定，NumTrace 能够检测“数字正确、账户错误”（RNWA）错误：当一条论断通过数值检查但未通过绑定检查时，即存在 RNWA 错误。RNWA 率量化了仅数值通过率与数值加绑定联合通过率之间的差距。最后，我们审计了三个智能体：Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash。RNWA 错误占各智能体失败论断的 67.5-81.8%。特别是在 13F 联合申报组问题上，约 91% 的论断通过数值检查，但通过绑定检查的不足一半。
| Comments: | 22 页，8 幅图，12 张表 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.34887 [cs.CL] |
| （或 arXiv:2610.34887v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34887 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Tianlei Zhu [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 05:58:10 UTC（446 KB）
来源：arXiv cs.CL · arxiv.org