TSFM 遇上 LLM：CoCo 框架将上下文作为协变量提升时间序列预测

查看 PDF HTML（实验性）

摘要：文本信息在现实世界的时间序列数据集中无处不在，以新闻、报告和注释的形式出现，其中蕴含着仅凭数值历史无法推断出的关键预测信号。大语言模型（LLM）能够理解文本，但缺乏数值精度；而时间序列基础模型（TSFM）在定量上准确，却无法对文本的影响进行推理。此外，缺乏大规模配对的多模态数据集限制了弥合这一差距的进展。在这项工作中，我们通过提供一种可扩展的方法来应对这一挑战，即利用 LLM 对现实世界时间序列进行标注，从而生成逼真的多模态数据集。在此基础上，我们提出了 Context as Covariates（CoCo），这是一个预测框架，其中 LLM 将其文本推理提炼为具有数值依据的预测和置信度协变量，用以指导 TSFM 主干，从而发挥 LLM 和 TSFM 两者的优势。我们分阶段对齐这两个模型，首先通过组相对策略优化（GRPO）微调 LLM，其奖励与协变量带来的预测性能提升相关联，然后在对齐后的 LLM 生成的协变量上微调 TSFM。我们的实验表明，在我们的合成多模态语料库上训练的模型能够泛化到涵盖金融、经济、天气、交通和安全领域的真实基准。值得注意的是，以 Qwen3-4B-Instruct-2507 作为 LLM、Chronos2 作为 TSFM 的 CoCo 相比最先进的 TSFM 和 LLM 预测器（如 GPT-4o），MAE 最高提升 12%。代码、检查点和评估数据集已公开可用。

提交历史

来自：Sai Shankar Narasimhan [查看电子邮件]
[v1] 2026年11月3日星期二 19:13:19 UTC（7,188 KB）