arXiv cs.CL· Xin Qiu, Junlong Tong, Wei Zhang, Xiaoyu Shen·· 12 小时前AI 评分34
Perceive、Solve、Reason:时间序列 LLM 的渐进式能力形成
Perceive, Solve, Reason: Progressive Capability Formation in Time Series-LLMs
AI 导读
研究者构建首个覆盖 Perceive、Solve、Reason 三类渐进能力的时间序列 LLM 训练评测套件,含 337K 训练样本与 44K 评估样本。专用编码器是关键:4B 模型在全部感知属性上超过 GPT-4o,而将序列文本化会使推理准确率下降 8–10 分。
正文 · AI 翻译
摘要:大型语言模型(LLM)如今能够感知、描述并推理图像和音频,但时间序列理解仍被低估:大多数工作将 LLM 用作预测器和分类器,推理研究少而窄,且尚无一套套件能够训练和评估全部能力。本文构建了首个此类套件,包含 337K 训练样本和 44K 评估样本,覆盖感知(Perceive)、求解(Solve)和推理(Reason)三项递进能力,并用它来探究时间序列应以何种方式、以何种顺序进入一个必须掌握这三项能力的 LLM。我们发现专用编码器至关重要:使用编码器时,4B 模型在我们测试的每一项感知属性上都超过 GPT-4o,而将序列文本化会使推理准确率损失 8--10 个点。这些能力随后层层递进:按顺序学习它们优于混合相同数据,并可媲美使用三倍以上推理数据仅做推理训练的效果,但前提是使用编码器。分析进一步揭示,能力是通过不同的网络深度传递的,而非简单堆叠;并且,一个在其自身基准上收敛的阶段未必已为下一阶段做好准备。将这些发现提炼为简单配方后,所得 4B TS-LLM 在没有任何目标领域数据的情况下,在八项域外指标中的七项上优于四个近期的 7B TS-LLM,最高领先 11 个点。因此,我们主张将时间序列视为 LLM 的一等模态,通过专用编码器读取,并先教其感知、再教其推理。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.23521 [cs.CL] |
| (或 arXiv:2610.23521v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.23521 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xin Qiu [查看邮箱]
[v1]
2026年10月16日星期五 14:23:23 UTC(2,723 KB)
来源:arXiv cs.CL · arxiv.org