arXiv cs.AI· Bokai Pan, Ruijie Yang, Mingyue Cheng, Jiahao Wang, Xiaoyu Tao·· 1 天前AI 评分31
CastWorld：评估上下文感知智能体时间序列预测的基准
CastWorld: Benchmarking Context-Aware Agentic Time Series Forecasting Beyond Predictive Accuracy
AI 导读
CastWorld 是面向上下文感知时间序列预测的智能体基准，数据集覆盖 8 个领域、25 个真实数据集，并提供含 49 个核心工具与状态自适应循环的模块化 harness。实验显示，准确率相近的智能体决策行为差异明显，额外交互未必改善预测，智能体甚至可能选不出自己此前生成的最佳预测；在预测修正中允许获取证据可提升三个受测模型的任务感知预测分数。
正文 · AI 翻译
摘要：智能体式时间序列预测将传统方法从一次性数值预测扩展到自主、上下文感知的交互。然而，现有基准对多样化上下文信息、预测专用的自适应交互以及预测智能体的系统性评估提供的集成支持有限。本文提出 CastWorld，一个面向上下文感知时间序列预测的智能体基准。首先，其上下文丰富的数据集套件涵盖 8 个领域和 25 个真实世界数据集，在统一的上下文规范下覆盖外部变量、事件和历史案例。其次，一个轻量、模块化的预测原生测试框架提供 49 个核心工具和一个状态自适应循环，可跟踪预测版本并支持迭代式证据收集与预测修订。中间预测可以暴露信息缺口，而新获取的证据则引导后续修订和最终版本选择。第三，模型级评估通过决策轨迹和预测版本历史来评估预测质量、过程执行、行为可信度和资源效率。此外，系统级评估比较各预测系统的预测准确率。实验揭示了准确率相当的智能体之间存在不同的决策行为。额外的交互并不一定改善预测，智能体可能无法选出其先前生成的最佳预测。在预测细化过程中允许获取证据，可提升所有三个被评估模型的任务感知预测得分。CastWorld 为在受控条件下评估智能体式时间序列预测提供了可复用的基础。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15262 [cs.LG] |
| （或 arXiv:2611.15262v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15262 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bokai Pan [查看邮箱]
[v1]
2026年11月11日星期三 09:53:20 UTC（2,288 KB）
来源：arXiv cs.AI · arxiv.org