arXiv cs.AI· Hunjae Lee, Corey Clark·· 11 小时前AI 评分22
动态关系预激活（prime attention）提升 Transformer 多变量时间序列预测能力
Dynamic Relational Priming Improves Transformer in Multivariate Time Series
AI 导读
研究者提出动态关系预激活注意力（prime attention），通过可学习调制为每个 token 对动态定制表示，替代标准注意力中跨所有配对计算不变的静态 token 表示，计算复杂度与标准注意力同阶。在多变量时间序列基准上，prime attention 持续优于标准注意力，预测精度最高提升 6.5%，并在序列长度减少最多 40% 时达到相当或更优性能。
正文 · AI 翻译
摘要：Transformer 中的标准注意力机制采用静态 token 表示，这些表示在每一层的所有成对计算中保持不变。这限制了它们与每个 token 对交互中可能多样的关系动态之间的表示对齐。虽然它们在关系相对同质的领域中表现出色，但标准注意力的静态关系学习难以捕捉多变量时间序列（MTS）数据中多样、异质的通道间依赖关系——在单一系统中，不同通道对之间的交互可能受完全不同的物理规律或时间动态支配。为了更好地使注意力机制与这类领域现象对齐，我们提出了动态关系预置注意力（prime attention）。与标准注意力中每个 token 在其所有成对交互中呈现相同表示不同，prime attention 通过可学习的调制动态地（或按交互）定制每个 token，以最佳捕捉每个 token 对的独特关系动态，从而针对特定关系优化每个成对交互。prime attention 的这种表示可塑性使其能够有效提取 MTS 中特定于关系的信息，同时保持与标准注意力相同的渐近计算复杂度。我们的结果表明，prime attention 在各基准上始终优于标准注意力，预测准确率最高提升 6.5\%。此外，我们发现 prime attention 在使用比标准注意力少最多 40\% 的序列长度时即可达到相当或更优的性能，进一步证明了其卓越的关系建模能力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2509.12196 [cs.LG] |
| （或 arXiv:2509.12196v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.12196 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第 43 届国际机器学习大会（ICML）论文集。2026 |
提交历史
来自：Hunjae Lee [查看邮箱]
[v1]
2025 年 9 月 15 日星期一 17:56:15 UTC（1,606 KB）
[v2]
2026 年 5 月 23 日星期六 18:24:30 UTC（2,551 KB）
[v3]
2026 年 10 月 22 日星期四 19:21:07 UTC（2,549 KB）
来源：arXiv cs.AI · arxiv.org