arXiv cs.CL· Zhaolu Kang, Junhao Gong, Wenqing Hu, Yingjie He, Kehan Jiang, Leqi Zheng, Shuo Yin, Zhicheng Fang, Chunlei Meng, Eric Hanchen Jiang, Yunfei Feng, Yitong Leng, Junfan Zhu, Xiaoyou Chen, Xi Yang, Richeng Xuan·· 3 天前AI 评分24
QuantEval：面向大语言模型金融量化任务的基准测试
QuantEval: A Benchmark for Financial Quantitative Tasks in Large Language Models
AI 导读
研究者推出 QuantEval，一个评估 LLM 能否完成量化金融"计算—实现—验证"闭环的基准，包含 1,575 个专家验证实例，覆盖知识问答、量化数学推理与量化策略编码三个维度。
正文 · AI 翻译
作者：Zhaolu Kang、Junhao Gong、Wenqing Hu、Yingjie He、Kehan Jiang、Leqi Zheng、Shuo Yin、Zhicheng Fang、Chunlei Meng、Eric Hanchen Jiang、Yunfei Feng、Yitong Leng、Junfan Zhu、Xiaoyou Chen、Xi Yang、Richeng Xuan
摘要：大型语言模型（LLM）在面向金融的问答中展现出强大能力，但其在专业量化工作流上的评估仍然零散，且往往止步于事实性或基于文档的问答。我们提出 QuantEval，一个用于评估 LLM 能否完成量化金融所需的“计算—实现—验证”闭环的基准。QuantEval 包含 1,575 个经专家验证的实例，覆盖三个互补维度：（i）基于知识的问答，（ii）定量数学推理，以及（iii）量化策略编码。编码任务采用确定性的 CTA 风格回测框架进行评估，该框架执行模型生成的策略，并将风险—收益指标与专家参考进行比较，超越了语法或模板匹配。我们评估了 13 个开源和专有 LLM，报告了提示与可靠性分析，并观察到与人类专家相比存在显著差距，尤其是在多步推理和框架约束编码方面。我们进一步在领域对齐数据上进行了监督微调和强化学习实验，表明训练可以提升定量推理，同时也暴露出事实回忆方面的权衡。QuantEval 发布了数据集、评估脚本和完整回测配置，以支持面向量化金融的 LLM 可复现研究。
| Comments: | this https URL |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.08689 [cs.CL] |
| （或 arXiv:2601.08689v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.08689 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhaolu Kang [查看邮箱]
[v1]
2026年1月13日星期二 16:14:23 UTC（1,627 KB）
[v2]
2026年1月16日星期五 00:38:39 UTC（1,627 KB）
[v3]
2026年10月14日星期三 03:51:15 UTC（1,502 KB）
来源：arXiv cs.CL · arxiv.org