arXiv cs.AI· Liqin Ye, Haorui Wang, Fardin Ahmed, Rongzhi Zhang, Yuan He, Ziyuan Lin, Yanbin Yin, Jing Peng, Michael Galarnyk, Sudheer Chava, Chao Zhang·· 14 小时前AI 评分38
Forecast-Dojo：用于评测与训练 LLM 预测智能体的可回放环境
Forecast-Dojo: Replayable Environments for Benchmarking and Training LLM Forecasting Agents
AI 导读
Forecast-Dojo 是一个可回放环境，将已结算的预测市场事件重构为带日期的预测步骤序列，包含 1,568 个 Polymarket 事件和 1,880 万篇带日期新闻文章。
正文 · AI 翻译
作者：Liqin Ye、Haorui Wang、Fardin Ahmed、Rongzhi Zhang、Yuan He、Ziyuan Lin、Yanbin Yin、Jing Peng、Michael Galarnyk、Sudheer Chava、Chao Zhang
摘要：预测要求大语言模型（LLM）智能体收集不断演变的证据、修正其信念，并随时间做出经过校准的预测。然而，评估和改进这些能力颇具挑战，因为现实世界的事件持续展开，结果可能需要数月才能揭晓。我们提出 Forecast-Dojo，这是一个可重放的环境，它将已解决的预测市场事件重建为按日期排列的预测步骤序列，从而支持可复现的评估、纵向分析以及基于智能体交互的训练。它包含 1,568 个 Polymarket 事件，按时间划分为训练集和评估集，并配有 1,880 万篇带日期的新闻文章。在 12 个模型中，研究工具始终能提升预测表现，而对新证据的捕捉越多，随时间的改进幅度也越大。尽管如此，所有模型仍落后于历史市场预测，而跨日期维护信念笔记本虽能降低研究成本，却未能持续提升预测质量。我们在从 Qwen3-235B-A22B-Thinking-2507 收集的轨迹上对 Qwen3-30B-A3B-Thinking-2507 进行监督微调，以展示该环境的训练效用。学生在评估集上的准确率从 34.8% 提升至 42.8%。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.28876 [cs.AI] |
| （或此版本的 arXiv:2609.28876v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.28876 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liqin Ye [查看邮箱]
[v1]
2026年9月24日 星期四 00:52:53 UTC（339 KB）
[v2]
2026年10月26日 星期一 01:51:48 UTC（523 KB）
来源：arXiv cs.AI · arxiv.org