arXiv cs.AI· Yuxuan Wang, Yishu Wang, Jiaqi Deng·· 1 天前AI 评分44
FABench：面向预测智能体的可扩展回测基准
Benchmarking Forecasting Agents on Yesterday's Tomorrows
AI 导读
研究者推出 FABench，一个面向预测智能体的可扩展回测环境，首个版本包含覆盖九个领域的 287 道问题。该基准通过自动化流水线发现事件、生成问题并解析结果，可在离线档案加实时网页搜索（已过滤以防止时间泄漏）的环境中自由研究。
正文 · AI 翻译
摘要：数字智能体如今能够收集并整理信息、对信息进行推理，并使用工具完成复杂任务。预测能力则对上述所有能力提出了考验：它要求整合不完整的证据、推断因果驱动因素，并做出经过校准的概率判断。现有基准并不适合衡量和提升这一能力。实时基准只有在事件尘埃落定后才提供反馈，因此每一轮评估都要等待日历推进；固定语料评估能立即返回结果，却把研究局限于预先收集的文档。我们提出 FABench，一个面向预测智能体的可扩展回测环境。自动化流水线可为任意历史预测日期发现事件、生成问题并判定结果，因此该基准能够不断更新，始终领先于模型训练截止时间；其首个版本在九个领域提出了 287 个问题。智能体在一个档案环境中自由研究每个问题，该环境将离线档案与经过筛选、可防止时间泄漏的实时网络搜索相结合。我们评估了基于八个近期模型构建的智能体，发现检索在每种检索设置下都改善了全部八个模型的 Brier 分数，并将领先智能体在 54 个与 Polymarket 关联的问题上提升至市场共识水平，其中最好的三个略高于该水平。研究轨迹揭示了智能体在权衡和应用证据方式上反复出现的失败，仍有充足的改进空间。我们发布代码、数据和档案环境，作为社区开展预测智能体研究的基础。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.40940 [cs.AI] |
| （或 arXiv:2610.40940v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40940 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxuan Wang [查看电子邮件]
[v1]
2026年10月29日星期四 20:18:39 UTC（347 KB）
来源：arXiv cs.AI · arxiv.org