arXiv cs.AI· Xu Liu, Hanshu Yan, Taha Aksu, Quang Pham, Zhongzheng Qiao, Jun Hao Liew, Silvio Savarese, Doyen Sahoo, Junnan Li·· 3 天前AI 评分24
GIFT-Eval-CTX：面向上下文预测模型评测的基准
GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation
AI 导读
研究者推出 GIFT-Eval-CTX 基准，用于检验预测方法能否把已验证的未来信息转化为准确的数值轨迹。该基准基于 GIFT-Eval 构建，覆盖 20 个数据集、10,000 个实例，每个实例提供由 LLM 发现与确定性代码校验的智能体流水线生成的 Macro 与 Micro 结构化效应。
正文 · AI 翻译
摘要：上下文预测旨在通过引入前瞻性信息（如计划事件、外部条件和专家预期）来改进时间序列预测。然而，可靠的评估仍然困难：现有基准往往领域覆盖有限、缺乏标准化的历史-未来划分，或提供的文本无法保证能揭示未来信息。我们提出 GIFT-Eval-CTX，一个用于检验预测方法能否将经过验证的未来信息转化为准确数值轨迹的基准。GIFT-Eval-CTX 构建于 GIFT-Eval 之上，包含 20 个数据集中的 10,000 个实例。每个实例提供从已实现的未来中提取的结构化效应：宏观效应描述整个预测范围的行为，而微观效应则指定局部变化。我们通过一个结合基于 LLM 的发现与确定性代码验证的智能体流水线来构建这些标注。我们对 TSFM、前沿 LLM 以及使用工具的智能体系统进行了基准测试。结果表明，与仅使用历史信息的提示相比，结构化效应使 GPT-5.6 Sol 的总体相对 MASE 降低 40.7%，使 Claude Opus 4.8 降低 29.6%。所评估的 MoiraiAgent 系统取得了最佳总体结果。我们进一步分析了结构化效应和智能体系统对性能的贡献，并指出了未来研究的机会。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17794 [cs.LG] |
| （或使用 arXiv:2610.17794v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17794 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xu Liu [查看邮箱]
[v1]
2026年10月13日星期二 06:21:50 UTC（270 KB）
来源：arXiv cs.AI · arxiv.org