arXiv cs.AI· Dong Bo, Fanjin Zhang, Ke Cheng, Xinxin Zhao, Xiaowei Su, Yang Wang, Jinghang Xu, Cuiping Li, Hong Chen, Jing Zhang·· 10 小时前AI 评分34
BuySideFlow：面向投资研究 LLM 智能体的时点有效性基准
BuySideFlow: A Point-in-Time Benchmark for LLM Agents in Investment Research
AI 导读
研究者推出 BuySideFlow，一个包含 408 个从业者编写的中文投资研究任务的基准，覆盖股票、基金、固定收益与宏观经济，用于检验 LLM 智能体在数据检索与分析中是否遵守披露截止时点（PIT）。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以为投资研究生成 SQL 和 SQL--Python 工作流，但确保时点（PIT）有效性仍然具有挑战性。智能体必须在整个数据检索和财务分析过程中执行披露截止时间，并选择适当的历史状态和记录版本。我们推出了 \textsc{BuySideFlow}，这是一个包含 408 个源自从业者的中文任务的基准，涵盖股票、基金、固定收益和宏观经济，基于来自持牌生产金融数据库的固定快照。我们提供了可执行参考和时序错误分类法，将结果检查与对已执行工作流的专家审计相结合。我们在所有任务上评估了九种智能体配置，结果准确率从 16.2\% 到 36.8\% 不等。对 100 个共享任务上的 900 次运行进行的审计确认，在通过结果检查的 380 次运行中，有 193 次（50.8\%）存在 PIT 违规，这表明仅凭输出一致性并不能确立时序有效性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.12966 [cs.AI] |
| （或 arXiv:2611.12966v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12966 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dong Bo [查看电子邮件]
[v1]
2026年11月7日星期六 12:55:19 UTC（502 KB）
来源：arXiv cs.AI · arxiv.org