arXiv cs.CL· Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan Xie, Anke Xu, Wenbo Cao, Jiarui Chen, Zehan Li, Jimin Huang, Alejandro Lopez-Lira, Yuehua Tang, Sophia Ananiadou, Jian-Yun Nie·· 10 小时前AI 评分49
LLM 不知道自己知道什么：FinDendro 基准测试金融回测中的时间自我认知
LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
AI 导读
研究团队推出 FinDendro 基准，包含 1999 至 2026 年的 2,226 条美国日期化事实，用于检验 LLM 金融回测中的知识泄漏防护是否可信。GPT-5 在受控事实上答对 76%，却仅声称知道 38%，且答对了 61% 它自称不知道的事实；知识声称可超出实测知识边界最多七个季度。
正文 · AI 翻译
作者：Lingfei Qian、Yan Wang、Xueqing Peng、Yupeng Cao、Yuechen Jiang、Zhuohan Xie、Anke Xu、Wenbo Cao、Jiarui Chen、Zehan Li、Jimin Huang、Alejandro Lopez-Lira、Yuehua Tang、Sophia Ananiadou、Jian-Yun Nie
摘要：只有当模型事先并不知道被要求预测的结果时，对大型语言模型（LLM）的金融回测才有意义。从业者防范这一点的方式包括：信任供应商声明的知识截止日期、询问模型自己知道什么，或指示模型以过去某个日期为准作答。为验证这些保障措施是否可信，我们提出了 FinDendro，这是一个包含 1999 年至 2026 年间 2,226 条有日期标注的美国事实的基准，涵盖月度宏观经济序列、月末股价和美联储决策。每条事实生成四个提示：一个取值问题；Recall 和 Predict 问题，将每个候选值与“知道”或“猜测”的声明配对，且不声明日期；以及一个带有历史声明日期的 Predict 问题。针对持续性和主导结果的对照使随机准确率保持在 0.27 左右。结果表明，对大多数前沿模型而言，自我报告低估了其知识。GPT-5 在受控事实上答对 76%，但声称知道 38%，并且在它声称不知道的事实中答对了 61%。知识声明可能超出实测知识边界，最多可达七个季度；而声明日期会消除大部分先前知识的声明，同时保持准确率不变。因此，模型训练窗口内的回测无法通过自我报告、指令或声明的截止日期来证明无泄漏。这些发现推动了对时间知识边界的行为测量，FinDendro 提供了一个基准和流程，用于基于已展示的事实知识来选择回测时段。
| 评论： | 20 页，4 幅图，11 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06808 [cs.CL] |
| （或 arXiv:2611.06808v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06808 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lingfei Qian Dr [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 17:24:02 UTC（466 KB）
来源：arXiv cs.CL · arxiv.org