跳到正文
arXiv cs.CL· Yicheng Tao, Yuante Li, Zipei Fan·· 23 小时前AI 评分42

ForecastGym:面向预测智能体的实时、可控、可回放基准

ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents

AI 导读

ForecastGym 是一个面向 LLM 预测智能体的实时、可控、可回放基准,每两天记录四个商业搜索 API 对开放预测市场问题的返回结果,结算后离线回放冻结证据。首个版本覆盖 150 个问题、614 个证据状态和 131k 条搜索结果。在冻结证据上,所有受测 LLM 的预测准确率均落后于市场;更换搜索 API 可使模型 Brier 分数变化达 0.043,超过模型间差异。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于大语言模型(LLM)构建的智能体越来越多地通过搜索网络并对所发现的内容进行推理来预测现实世界事件。此类智能体的预测效果既取决于检索到的证据,也取决于模型本身,因此对证据的控制对于评估至关重要。当每个系统各自搜索时,实时评估可能会将检索与推理混在一起,而回溯搜索则可能通过日期过滤器或当今对历史页面的排序泄露后续信息。比较模型、搜索来源和记忆策略,既需要固定的证据,也需要记录证据在结果确定之前如何演变。我们推出 ForecastGym,它每两天记录四个商业网络搜索 API 对开放预测市场问题返回的内容,并在结果已知后离线重放这些冻结的证据,在固定的证据获取策略下比较模型、记忆和捕获的搜索来源。其首个版本涵盖 150 个问题、614 个证据状态(每个问题和收集时间各一个)以及 131k 条搜索结果。在结算后重新运行相同的查询,返回的结果几乎直接说明了多达 92% 的问题的结果,尽管使用了所测试的日期过滤器。在冻结的证据上,所有测试的 LLM 在预测准确性上都落后于市场。我们的诊断分析表明,在高差距状态下,遗漏的公开信息对差距的贡献大于误读。切换搜索 API 会使模型的 Brier 分数变化最多 0.043,超过模型之间的差异,而持久笔记的得分与以一半输入 token 重新阅读所有证据相似。预测者所看到的证据可能与阅读证据的模型同样重要。
主题: 人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23045 [cs.AI]
  (或 arXiv:2611.23045v1 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2611.23045

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yicheng Tao [查看电子邮件]
[v1] 2026年11月17日星期二 16:44:38 UTC(467 KB)

来源:arXiv cs.CL · arxiv.org