arXiv cs.AI· Vasilii Feofanov, Zhenghan Tai, Andrei Ermakov, Irina Rish·· 12 小时前AI 评分31
TS2Vec 如何改造为时间序列分类基础模型 TS2Vec-FM
Turning TS2Vec into a Foundation Model for Time Series Classification
AI 导读
TS2Vec 可通过三项改动转为单次预训练的基础模型 TS2Vec-FM：在合成语料上预训练、用两个小型 stem 分别输入原始振幅视图与实例归一化形状视图、将每个视图的专家编码器蒸馏进单一编码器。
正文 · AI 翻译
摘要：TS2Vec 是 2022 年提出的用于时间序列分类的最强自监督方法之一。它被设计为在每个数据集上重新训练：先进行自监督预训练，再进行线性探测。此后，该领域已转向可在多个数据集间复用同一编码器的基础模型。然而，TS2Vec 提供了一种紧凑的卷积架构，可直接作用于时间样本，并接受可变长度输入而无需重采样。我们探究当编码器仅预训练一次时，这些特性是否仍能保留，并证明可以：TS2Vec 本质上可以转变为一个基础模型。只需三处改动：在合成语料库上预训练；通过两个小型 stem 向编码器分别输入原始幅度视图和实例归一化的形状视图；将每个视图的专家编码器蒸馏到单个编码器中。由此得到的 TS2Vec-FM 是一个 1.6M 参数的膨胀卷积网络，在保持冻结的情况下，线性探测在 UCR-128 上达到 83.3%，在 UEA-27 上达到 75.3%，与当前最先进的 MantisV2 相差 0.3 个百分点以内，并高于在每个目标数据集上单独训练的 TS2Vec。我们发现最有趣的是 TS2Vec-FM 在设计上与其他基础模型的差异：它无需注意力、无需 patch tokenizer、无需中间层提取，仅使用“老派”卷积编码器和两层 MLP stem 就达到了近乎持平的效果。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28602 [cs.LG] |
| （或 arXiv:2610.28602v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28602 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vasilii Feofanov [查看电子邮件]
[v1]
2026年10月20日星期二 17:47:51 UTC（120 KB）
来源：arXiv cs.AI · arxiv.org