arXiv cs.AI· Jonas Petersen, Pratik Jawahar, Riccardo Maggioni, Gian-Alessandro Lombardi, Matteo Cozzi, Marek Gajewski, Federico Martelli, Camilla Mazzoleni, Philipp Christian Petersen·· 6 天前AI 评分24
KITE：面向时间序列事件预测的知识注入时序编码器
KITE: A Knowledge-Injected Temporal Encoder for Time-Series Event Forecasting
AI 导读
KITE 是一种知识注入的时序编码器，通过协变量机制与注意力偏置机制两种可切换方式，将工程师掌握的语义先验注入自监督事件预测模型，无需逐数据集搜索架构。在短上下文下，周期性时钟先验使 pooled h-AUROC 较无先验基线提升 14%（p<0.001），守恒残差先验在 0.25 标签比例下提升 47%，有效先验还能跨域迁移（+53%）替代特征迁移。
正文 · AI 翻译
摘要：预测多变量时间序列系统中的罕见、高成本事件十分困难，因为其前兆很少被观测到，因此纯数据驱动的模型几乎没有可学习的信息。然而，运行这些系统的工程师掌握着先于此类事件的知识，这些信息在稀缺的标签中并不存在。我们将此称为语义先验，并通过两种可切换的机制——协变量机制和注意力偏置机制——将其注入自监督事件预测器中，每种机制在其空值时均为恒等映射，因此一种架构即可服务于所有先验类型，无需针对每个数据集进行架构搜索。当先验提供了观测窗口尚未包含的信息时，它就会有所帮助：在短上下文中，有信息量的先验在域内优于无先验（与无先验基线相比的汇总 h-AUROC：周期性时钟 +14%，p<0.001；在 0.25 标签比例下守恒残差 +47%），而有效的先验可跨域迁移（+53%），替代特征迁移，而窗口已能恢复的先验则保持惰性，且注意力偏置机制未显示出可测量的增益。KITE 是一种可切换、可归因的上下文条件化途径，也是朝着跨域、预训练的时间序列基础世界模型扩展的基座，这些模型显式地携带其支配结构。
| 评论： | FMTS, NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12738 [cs.LG] |
| （或 arXiv:2610.12738v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12738 arXiv 颁发的 DOI（通过 DataCite，待注册） |
提交历史
来自：Jonas Petersen [查看电子邮件]
[v1]
2026年10月8日星期四 21:35:42 UTC（568 KB）
来源：arXiv cs.AI · arxiv.org