arXiv cs.AI· Yiding Ma, Chengyun Ruan, Kaibo Huang, Jin Tan, Zhongliang Yang, Linna Zhou·· 3 天前AI 评分26
OracleProto：通过知识截止与时间掩码对 LLM 预测能力进行基准测试的可复现框架
OracleProto: A Reproducible Framework for Benchmarking LLM Forecasting via Knowledge Cutoffs and Temporal Masking
AI 导读
OracleProto 是一个在受控时间掩码环境下评估 LLM 预测能力的可复现框架，通过模型知识截止约束和时间掩码构建时间沙盒，并借助泄漏检测审计信息边界。该框架在 300 道 FutureX-Past 衍生问题上对 27 组模型配置进行了 24,300 次预测试验，评估预测质量、采样稳定性和成本效率，检索结果残余泄漏率仅 1.37%。代码已开源。
正文 · AI 翻译
摘要：预测是一项综合能力，涵盖信息收集、证据整合、态势评估和决策制定。大语言模型（LLM）将推理与工具使用相结合，为自动化预测和决策支持提供了新途径。然而，LLM 预测评估面临一个结构性挑战：实时基准支持前瞻性评估，但问题复用有限且信息条件不断变化，使得结果难以复现和比较；回顾性基准提供了可复现性，但存在信息泄露风险。我们提出 OracleProto，一个在受控、时间遮蔽环境中评估 LLM 预测的可复现框架。通过模型知识截止约束和时间遮蔽，OracleProto 为真实世界网络检索构建了一个时间沙盒，通过泄露检测审计信息边界，并将已解决事件重构为预测实例。离散答案归一化和分层评分实现了统一评估。我们在 300 个源自 FutureX-Past 的问题上，对 27 个模型-配置组合进行了 24,300 次预测试验的评估，在受控信息边界下评估预测质量、采样稳定性和成本效率。审计发现，在时间遮蔽和泄露过滤后，检索结果中仅存在 1.37% 的残余泄露。OracleProto 将已解决的预测任务保留为显式时间边界下的可复用评估资源，支持预测数据集的持续积累和预测能力的系统性评估。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.03762 [cs.AI] |
| （或 arXiv:2605.03762v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.03762 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiding Ma [查看电子邮件]
[v1]
2026年5月5日星期二 13:50:50 UTC（1,216 KB）
[v2]
2026年10月13日星期二 17:06:43 UTC（1,797 KB）
来源：arXiv cs.AI · arxiv.org