arXiv cs.CL· Fengyuan Liu, Mukai Li, Jieshun You, Yilin Zheng, Chenjia Min, Yizhou Zhang, Harper Chen, Qi Liu·· 10 小时前AI 评分34
FinForesight：面向金融预测深度研究系统的诊断性回测基准
FinForesight: A Diagnostic Backtesting Benchmark for Deep Research Systems in Financial Forecasting
AI 导读
FinForesight 是一个面向金融深度研究系统的诊断性回测基准，覆盖中国、美国、香港市场，评测估值、收益排序、事件方向与未来财务基本面四项预测任务，另设反事实推理与金融计算两项能力诊断任务。
正文 · AI 翻译
摘要：预测财务结果需要综合不断演变的证据并在不确定性下进行推理，这使得深度研究系统成为有前景的预测工具。然而，评估预测能力颇具挑战，因为历史回测可能会奖励记忆中的结果或预测日期之后检索到的信息。实时预测避免直接获取已实现的结果，但反馈只有在事件解决后才会到来。为了获得及时反馈并评估历史得分，我们推出了 FinForesight，一个用于金融深度研究系统的诊断性回测基准。该基准覆盖中国、美国和中国香港市场，评估四项预测任务：估值、收益排名、事件方向和未来财务基本面。两项能力诊断任务评估反事实推理和财务计算，与预测性能分开评分。我们与 harness 兼容的框架将检索到的证据限制为预测日期可用的信息。我们比较预训练时代、截止后已解决和实时评估，以检验受控回测是否近似未来表现。在大多数时间比较中，预训练时代的得分高于截止后的得分，而更强的检索控制缩小了截止后回测与实时结果之间的差距。预测归因和稳健性分析揭示了得分如何响应检索策略，以及预测如何响应提示重写和数值扰动。代码和基准数据已公开可用。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.01621 [cs.CL] |
| （或 arXiv:2611.01621v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01621 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fengyuan Liu [查看电子邮件]
[v1]
2026年11月1日星期日 06:16:56 UTC（378 KB）
来源：arXiv cs.CL · arxiv.org