arXiv cs.AI· Sinuo Wang, Wentao Zhao, Jiacheng Lu, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 13 小时前AI 评分38
LiveSearch：把问题写成可执行验证代码的金融搜索智能体实时基准
LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents
AI 导读
LiveSearch 是一个面向金融搜索智能体的实时基准，每个问题以可执行验证代码形式存储——对专业金融数据服务的类型化调用程序加声明式提取器，评测时执行程序得出金标准答案，并每日自动重跑。在通用网页搜索下，六个当代工具调用模型取得 70.9% 至 76.7% 的答案准确率；连续三天内 70% 的题目金标准值发生变化，即使采用容错匹配，直接复用旧快照的答案在一天内也会在多数题目上失效。
正文 · AI 翻译
摘要：在金融领域，真正重要的答案通常是当前的答案：价格、利率和披露信息仅在特定日期有效，因此检索最新事实是金融智能体的核心能力。然而，大多数金融基准忽视了时效性。它们在标注时就将每个答案固定下来，因此随着市场变动，标准答案会过时；而且一旦泄漏到训练数据中，奖励的是记忆而非搜索与分析。我们推出 LiveSearch，这是一个实时基准，它将每个问题存储为可执行的验证器代码：一段对专业金融数据服务发起调用的类型化程序，后接一个声明式提取器。问题被冻结，而其标准答案通过在评估时对专业金融数据执行该程序来确定，并且每日任务会在无人工或语言模型参与的情况下重新执行它。因此，被记住的答案很可能已经过时，模型必须通过工具和分析才能得到当前答案。构建过程同样自动化：语言模型只负责将真实工具响应中枚举出的程序表述为自然语言，从不选择答案。在通用网络搜索下，六个当代工具调用模型达到 70.9% 至 76.7% 的答案准确率。在连续三天内，70% 的已提供问题其标准答案值发生变化，即使在容忍度感知匹配下，字面复用早先快照在单日内也会在大多数问题上失败。逐题跟踪揭示了被总体准确率掩盖的正确性动态变化。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37166 [cs.AI] |
| （或 arXiv:2610.37166v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37166 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sinuo Wang [查看邮箱]
[v1]
2026年10月27日星期二 12:55:52 UTC（135 KB）
来源：arXiv cs.AI · arxiv.org