arXiv cs.AI· Mingtao Zhang, Guoli Yang, Zhanxing Zhu, Mengzhu Wang, Xiaoying Bai·· 14 小时前AI 评分20
ELinFormer：用熵校准线性注意力高效建模多变量时间序列
Efficient Linear Attention for Multivariate Time Series Modeling via Entropy Calibration
AI 导读
研究者提出熵校准线性注意力模块并实例化为 ELinFormer 预测器，将注意力聚合分解为均匀分量与查询相关的修正项，用查询专属温度校准二阶 KL 代理。该代理经泰勒展开化简为分数能量除以温度平方，可由中心化 key 的共享乘积算出而无需构建完整成对分数矩阵。
正文 · AI 翻译
摘要：注意力机制对多变量时间序列建模十分有效，因为它能跨时间戳和变量自适应地聚合信息。然而，其二次方计算成本限制了它在多变量和时空系统中的应用。线性注意力通过将非线性注意力映射替换为支持结合计算的形式来降低这一成本。替换指数加权可能会削弱对高分位置的放大作用，并进一步使弱选择性分布偏向均匀聚合。我们提出了一种熵校准线性注意力模块，并将其实例化为 ELinFormer 预测器。我们的算子将聚合分解为均匀分量和查询相关的修正项，其幅度由查询特定的温度校准。我们从中心化的查询-键分数推导出二阶 KL 代理。泰勒展开将该代理简化为平方分数能量除以温度平方。该分数能量可由中心化键的共享乘积计算，而无需形成完整的成对分数矩阵，且相同的乘积可支持线性注意力输出。我们设计了一种平滑温度规则来校准 KL 代理：它使低能量残差保持消失，将中等能量查询近似校准到共享的 KL 水平，并允许高能量查询的代理继续增长。在五个 PEMS 基准上的实验显示出有竞争力的预测精度。与原始注意力和 Linformer 的受控比较展示了有利的精度-内存权衡，而对 PEMS08 的分析表明，所提出的有理温度规则和查询特定校准比线性规则或共享温度替代方案实现了更低的 MAE。这些结果支持将熵校准作为在线性注意力中保留选择性偏差的有效机制。
| 评论： | 10 页正文加 6 页补充材料，共 4 幅图。第 2 版修订了理论表述和证明，增加了高能量解释和受控的 NaLaFormer 比较，并扩充了可复现性材料，核心方法未变。代码见 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2511.03190 [cs.LG] |
| （或 arXiv:2511.03190v2 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2511.03190 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mingtao Zhang [查看邮箱]
[v1]
2025 年 11 月 5 日星期三 05:07:55 UTC（54 KB）
[v2]
2026 年 10 月 24 日星期六 16:22:36 UTC（377 KB）
来源：arXiv cs.AI · arxiv.org