arXiv cs.AI· Rishit Jain, Rishit Kar, Chetashri Bhadane, Nilesh Patil·· 11 小时前AI 评分27
冻结的预测基础模型做分类器：Reverso 与 Chronos-Bolt 在 MONSTER 基准上不及强基线
Big Models, Small Gains: Frozen Forecasters as Classifiers on MONSTER
AI 导读
研究在 MONSTER 基准的六个大型数据集上，用 1%、10%、100% 训练标签评测 Reverso 和 Chronos-Bolt 的冻结表征用于时间序列分类。预训练相比同架构随机权重版本在六个数据集中的五个上提升准确率，最高提升 23 个百分点，但冻结表征在 17 个设置中有 15 个不如最强的非预训练基线、2 个持平。恢复振幅信息可挽回部分差距，微调和预测误差特征则无法弥合。
正文 · AI 翻译
摘要：预测基础模型越来越多地被用作时间序列分类的冻结特征提取器，但尚不清楚它们的预训练表示是否比不需要预训练的强分类器更具优势。这引出了一个重要问题：这些表示是否提供了模型架构本身无法捕捉的有用信息，尤其是在标注数据稀缺的情况下？我们对两个预测模型 Reverso 和 Chronos-Bolt 进行了受控基准测试，使用 MONSTER 基准中的六个大型数据集，分别采用可用训练标签的 1%、10% 和 100%。我们将它们的冻结表示与四种成熟的时间序列分类方法以及相同预测模型的随机权重版本进行了比较。结果表明，在六个数据集中的五个上，预训练相比随机权重版本提高了分类准确率，提升幅度最高达 23 个百分点。然而，冻结表示在任何设置下都未能可靠地超越最强的非预训练基线：在 17 种设置中有 15 种表现更差，其余两种持平。进一步实验表明，恢复幅度信息可以弥补部分性能差距，而微调和预测误差特征则无法弥合这一差距。这些发现凸显了在评估用于分类的预测基础模型时，强任务特定基线和随机权重对照的重要性。我们的代码可在 此 https URL 获取。
| 评论： | 亚洲机器学习会议，FMLTS 研讨会，2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06988 [cs.LG] |
| （或 arXiv:2611.06988v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06988 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rishit Kar [查看电子邮件]
[v1]
2026年11月4日星期三 16:50:28 UTC（56 KB）
来源：arXiv cs.AI · arxiv.org