arXiv cs.AI· Sachith Abeywickrama, Peiliang Gong, Emadeldeen Eldele, Min Wu, Chau Yuen·· 10 小时前AI 评分26
PACT:时间序列基础模型的循环域增量适配方法
Recurrent Domain Incremental Adaptation of Time-Series Foundation Models
AI 导读
PACT(Piecewise Adaptation via Chart Transport)通过将冻结的源嵌入空间划分为局部图表、仅为受新工况影响的区域学习轻量残差传输,实现时间序列基础模型的域增量适配。该方法每个新工况仅需 5% 标注校准数据,推理时无需知道工况身份,在四工况轴承故障流上平均 macro-F1 保持 0.95 以上。预训练编码器、分类头与已学传输均保持固定,代码已开源。
正文 · AI 翻译
摘要:预训练时间序列基础模型(TSFMs)为下游分类任务提供了强大的表示。然而,在运行条件变化的情况下适配 TSFM 仍然具有挑战性。模型必须在每个新观测到的条件上取得提升,同时不牺牲已经学会的条件,而且通常只能依赖少量带标签的校准集,并且在推理时不知道运行条件。我们发现这一困难具有重要的几何结构。在运行条件偏移下,TSFM 的嵌入空间并非均匀移动:一些局部区域变化显著,而另一些区域几乎不变。因此,全局适配可能会不必要地移动那些已经被正确分类的嵌入。为解决这一问题,我们提出了新颖的 PACT(Piecewise Adaptation via Chart Transport,基于图卡传输的分段适配)。PACT 将冻结的源嵌入空间划分为局部图卡,并为受每个新条件影响的区域学习轻量级残差传输。始终保留一条显式的恒等路径,并由一个学习到的门控为每个输入在恒等路径与累积传输之间进行软选择。预训练的 TSFM 编码器、分类头以及先前学到的传输保持固定。在每个到达条件仅有 5% 带标签校准数据且测试时不知道条件身份的情况下,PACT 在四条件轴承故障流上保持平均 macro-F1 高于 0.95。在同质任务和标签空间下,在公开基准上也观察到类似的保持-适配行为。代码可在 此 https URL 获取。
| 评论: | 预印本。审稿中 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG);信号处理(eess.SP) |
| 引用为: | arXiv:2611.24075 [cs.AI] |
| (或 arXiv:2611.24075v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24075 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sachith Abeywickrama [查看电子邮件]
[v1]
2026年11月18日星期三 09:05:22 UTC(6,142 KB)
来源:arXiv cs.AI · arxiv.org