arXiv cs.AI· Yupeng Cao, Xueqing Peng, Lingfei Qian, Haohang Li, Yangyang Yu, Anke Xu, Wenbo Cao, Yan Wang, Yuechen Jiang, Yuyan Wang, Zhuohan Xie, Yankai Chen, Zehan Li, Jimin Huang, Xue Liu, Jian-Yun Nie, Sophia Ananiadou·· 11 小时前AI 评分45
FINCOSMOS：面向金融智能体的开放世界评测范式
FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
AI 导读
FINCOSMOS 是一个面向金融智能体的开放世界评测范式，模拟用户只按需透露隐藏策略，智能体需自行从 Web 获取数据并在数据截止点下构建回测。在 150 场会话中，四个编程智能体和一个无工具模型均无一场通过验收，模拟用户认可的会话全部未通过程序检查，智能体仅主动问出 54–64% 的未告知细节，人类专家将 88.33% 的失败归因于智能体。
正文 · AI 翻译
作者：Yupeng Cao、Xueqing Peng、Lingfei Qian、Haohang Li、Yangyang Yu、Anke Xu、Wenbo Cao、Yan Wang、Yuechen Jiang、Yuyan Wang、Zhuohan Xie、Yankai Chen、Zehan Li、Jimin Huang、Xue Liu、Jian-Yun Nie、Sophia Ananiadou
摘要：语言智能体越来越多地在开放网络上为用户工作，而金融正是最难信任它们的领域。数据必须来自网络，策略存在于用户头脑中，正确性取决于时间，因此智能体可能悄无声息地失败：用户从未要求的策略、未经核实的数据，或使用未来信息的回测，都会产生与正确结果同样令人信服的报告。现有基准在某个环节封闭了世界，固定了任务、数据或时间线，从而消除了这些失败，而不是测量它们。我们提出 FINCOSMOS，一种面向从事金融工作的智能体的开放世界评估范式。一个模拟用户持有从组合语法中采样得到的隐藏策略，并且只在被询问时才透露。智能体不接收任何数据，因此必须从网络获取数据，在数据截止时间下构建自己的回测，并交付可验证的结果。评分无需参考答案。程序验证时点正确性并重新计算每个报告指标，交付的策略会与隐藏规范进行核对，只有用户满意且 15 项否决检查无一失败时，一次运行才会被接受。在 150 次会话中，四个编码智能体和一个无工具模型均无会话被接受：模拟用户认可的每一次会话都未通过程序检查，而智能体只提出了 54--64\% 的未被告知细节。人类专家将 88.33\% 的失败归因于智能体。借助 FINCOSMOS 反馈，一个具有持久记忆的智能体学会了全部十项任务。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算金融（q-fin.CP） |
| 引用为： | arXiv:2611.07464 [cs.AI] |
| （或 arXiv:2611.07464v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07464 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yupeng Cao [查看电子邮件]
[v1]
2026年11月5日星期四 05:19:44 UTC（68 KB）
来源：arXiv cs.AI · arxiv.org