arXiv cs.AI· Md Atik Ahamed, Mihir Parmar, Palash Goyal, Chun-Liang Li, Qiang Cheng, Tomas Pfister, Jinsung Yoon·· 11 小时前AI 评分34
STRIDE:面向时间序列预测的推理感知训练框架
STRIDE: Reasoning-Aware Training for Time Series Forecasting
AI 导读
STRIDE 框架将 LLM 推理轨迹蒸馏进轻量 LLM,并把其池化隐藏状态作为连续跨模态先验注入时间序列基础模型的数值编码器,避免文本 tokenizer 切碎连续数值。
正文 · AI 翻译
摘要:时间序列基础模型(TSFMs)在数值预测方面表现出色,但作为黑箱运行,缺乏定性推理能力。相反,将 LLM 直接应用于时序数据会引入模态鸿沟:文本分词器会切分连续数值,破坏数学关系并导致序列长度激增,从而带来计算开销。为解决这一问题,我们提出了 STRIDE(通过蒸馏嵌入注入的策略性时间序列推理),这是一个将 LLM 推理原生集成到 TSFMs 连续嵌入空间中的新框架。STRIDE 不采用离散 token,而是将推理轨迹蒸馏到轻量级 LLM 中,并将其池化隐藏状态作为连续跨模态先验动态投影到数值编码器中。通过交叉熵和分位数损失进行联合优化,STRIDE 可轻松适配多种架构(例如 Chronos-2、Timer-S1)。与 Synapse 集成后,STRIDE 在 GIFT-Eval 排行榜上排名第一(0.625 MASE,0.423 CRPS)。在 TFRBench 上,STRIDE 在预测准确性和推理质量上均持续优于基线,消融实验证实性能提升源于策略性推理。因此,将语义推理作为连续先验注入,使 TSFMs 具备人类可解释的推理能力,同时提高预测准确性。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2605.08625 [cs.LG] |
| (或 arXiv:2605.08625v2 [cs.LG] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2605.08625 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Md Atik Ahamed [查看电子邮件]
[v1]
2026年5月9日星期六 02:41:47 UTC(2,608 KB)
[v2]
2026年10月16日星期五 04:26:36 UTC(3,870 KB)
来源:arXiv cs.AI · arxiv.org