arXiv cs.CL· Ziyang Zhang, Shenyi Li, Wen Wu, Chao Zhang·· 10 小时前AI 评分34
TimeOmni-o1：双向耦合时间序列基础模型与 LLM 的多模态推理与预测
TimeOmni-o1: Bidirectionally Coupling Time Series Foundation Models and LLMs for Multimodal Reasoning and Forecasting
AI 导读
TimeOmni-o1 将预训练时间序列基础模型（TSFM）与 LLM 双向耦合：TSFM 把序列压缩编码供 LLM 结合文本推理，LLM 的推理结果再回传给 TSFM 生成预测，单一架构即可读写序列与文本。
正文 · AI 翻译
摘要：来自真实系统的时序数据往往伴随文本，例如关于影响该时序的事件的报告。这类时序上的两个常见任务是理解，例如回答关于某个时序的问题，以及预测其未来值。两个任务都需要对时序和文本一起进行推理。此外，理解任务输出文本，而预测任务输出时序，因此要同时服务两者，就需要一个既能读取又能生成两种模态的模型。大语言模型（LLM）将时序读取为数字 token，对长时序处理不佳。时序基础模型（TSFM）通过大规模预训练能很好地预测，但通常既不读取也不生成文本。时序语言模型为 LLM 增加时序模态，但在 LLM 一侧进行预测，使 TSFM 的预训练预测能力未被利用。我们提出 TimeOmni-o1，它将预训练的 TSFM 与 LLM 双向耦合。在一个方向上，TSFM 以压缩形式为 LLM 编码时序，LLM 将其与文本一起推理。在另一个方向上，LLM 的推理被反馈给 TSFM，TSFM 据此生成预测。因此，一个模型架构既能读取和生成时序与文本，又能用文本进行推理，并利用 TSFM 的预训练预测能力。为训练它，我们构建了 MMTR，一个带标注推理轨迹的多模态时序推理数据集，覆盖 12 个领域的两个任务，包含 50 万+ 样本。在 MMTR 上，TimeOmni-o1 在大多数领域的理解和预测任务上均优于现有模型，也优于单独使用其中的 LLM 和 TSFM。这些增益延续到三个公开基准上，在这些基准上它优于专用的时序模型。
| 评论： | 代码：此 https URL 项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.12902 [cs.CL] |
| （或 arXiv:2611.12902v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12902 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wen Wu [查看邮箱]
[v1]
2026年10月14日星期三 10:29:27 UTC（771 KB）
来源：arXiv cs.CL · arxiv.org