arXiv cs.AI· Mahesh Ramesh, Eric Cho, Alice Lu, Shawn Huang, Baiqing Lyu·· 12 小时前AI 评分42
Hedge-Bench：面向金融推理高难度真实任务的智能体基准测试
Hedge-Bench: Benchmarking Agents on Hard, Realistic Tasks Pertaining to Financial Reasoning
AI 导读
Hedge-Bench 发布 92 个源自对冲基金分析师推理轨迹的真实环境，要求智能体基于冻结信息快照预测后续真实结果。11 个前沿模型三次试验的联合成功率（预测正确且研究覆盖率超 60%）仅为 2.54% 至 31.52%。
正文 · AI 翻译
摘要：现代 AI 智能体越来越能够胜任检索文档、更新电子表格等常规金融分析任务。更难的挑战是从不完整的信息中预测未知的未来。公开市场提供了天然的试验场：分析师经常利用当时的信息预测离散事件。我们提出 Hedge-Bench，这是一个包含 92 个真实世界环境的基准，源自对冲基金分析师的推理轨迹，并配以随后得到解决的预测问题。智能体基于冻结的信息快照进行推理，其预测结果与真实世界结果进行对照评估。在 11 个前沿模型、每个环境三次试验中，联合成功率（要求预测正确且研究覆盖率超过 60%）介于 2.54% 至 31.52% 之间。我们采用带轮次级信用分配的 GRPO，在 165 个环境上训练 Muse-Glimmer，使 22 个留出环境上的覆盖率在低推理投入下从 17.17% 提升至 33.36%，在超高投入下从 30.19% 提升至 47.02%。低投入下的训练模型还超过了基础模型超高投入下的覆盖率，同时使用的 token 减少了 47.9%。我们还观察到泛化的证据：高投入下留出预测准确率提升了 10.06 个百分点，而分布外评估分数在 GDPval 上提升 3.94 分，在 this http URL 上提升 2.29 分，在 Harvey LAB 上提升 7.07 分，在 Frontier Finance 上按其各自指标提升 4.96 分。代码：this https URL。
| 评论： | 数据集和评估工具可在 this https URL 获取 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.03918 [cs.AI] |
| （或 arXiv:2606.03918v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.03918 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shawn Huang [查看电子邮件]
[v1]
2026 年 6 月 2 日星期二 17:11:56 UTC（1,533 KB）
[v2]
2026 年 10 月 27 日星期二 03:27:06 UTC（6,815 KB）
来源：arXiv cs.AI · arxiv.org