arXiv cs.CL· Van Dai Do, Huu Hiep Nguyen, Minh Hoang Nguyen, Manh Nguyen, Hung Le·· 3 天前AI 评分24
LOTUS：用预测未来来学习理解时间序列
Lotus: Learning to Understand Time-series by Learning to Forecast
AI 导读
研究者提出 forecast grounding 预训练原则，要求语言对齐的时间序列表示在适配下游任务前仍能预测未来演化，并据此构建 LOTUS：将每个时间序列通道切分为不重叠 patch 映射进 LLM 嵌入空间，再由时间序列 token 的隐藏状态预测下一个 patch。
正文 · AI 翻译
摘要：时间序列语言模型通常使用标签、说明文字或问答对将数值信号与语言对齐。尽管此类监督有助于形成语言表征，但它并未明确要求这些表征保留有关底层时间序列信号如何演变的信息。我们提出了预测接地（forecast grounding），这是一种预训练原则，要求与语言对齐的时间序列表征在被适配到下游任务之前，仍能对未来演变具有预测能力。我们在 LOTUS 中实现了这一原则，它将每个时间序列通道划分为不重叠的片段，并将其映射到 LLM 嵌入空间。然后，它从时间序列 token 的 LLM 隐藏状态预测下一个片段，促使学习到的表征保留时间信息。为了同时捕捉时间变化和周期性模式，我们还提出了一种时间-频谱片段表征，在将每个原始时间序列片段映射到 LLM 嵌入空间之前，将其与其频谱表征相结合。在三个语言模型骨干和六个下游评估数据集上，LOTUS 以最少的可训练参数取得了最佳平均性能，达到 59.91% 的准确率，比最强的匹配基线高出 3.36%。我们的表征分析进一步表明，LOTUS 利用了数值输入，并在其学习到的片段表征中保留了时间结构。这些结果确立了预测接地作为一种有前景的预训练原则，使紧凑的时间序列语言模型在 TSRBench 上能够超越其规模 25 至 50 倍的模型。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18877 [cs.LG] |
| （或 arXiv:2610.18877v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.18877 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Van Dai Do [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 01:44:55 UTC（1,075 KB）
来源：arXiv cs.CL · arxiv.org