arXiv cs.AI· Andrei-Tiberiu Pantea, Aymeric Dieuleveut·· 13 小时前AI 评分18
通过单点回归理解 TSFM 中的轴向注意力机制
Understanding axial attention in TSFMs through single location regression
AI 导读
研究将 Single Location Regression 框架扩展到 2D 结构化数据，用于分析时间序列基础模型（TSFM）中轴向注意力的理论性质。作者证明在特定渐近条件下，该轴向注意力型预测器可达到 Bayes 最优，而一类半线性简化模型严格无法做到，凸显内部非线性的作用。实验还表明逆温度调度对实际收敛至关重要。
正文 · AI 翻译
摘要：时间序列基础模型（TSFMs）的最新进展日益依赖轴向注意力机制，但尽管其经验上取得了成功，轴向注意力的理论性质在很大程度上仍未被探索。为弥合这一差距，我们将 Marion 等人 [2025] 提出的单位置回归框架扩展到二维结构化数据，以研究目标依赖于少量 token 的稀疏信息设置。我们构建了一个解析上可处理的轴向注意力型预测器，并严格分析其统计性质和训练动态。我们证明，在特定的渐近机制下，并在已知底层 oracle 参数的情况下，我们的预测器达到贝叶斯最优性，而一类半线性简化则严格无法做到这一点，从而凸显了内部非线性的作用。我们证明，对于特定的温度缩放，投影梯度下降全局收敛到最优 oracle 参数。大量数值实验验证了我们的理论发现，并强调了逆温度调度在经验收敛中的关键作用。
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.40188 [stat.ML] |
| （或 arXiv:2610.40188v1 [stat.ML] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.40188 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andrei-Tiberiu Pantea [查看电子邮件]
[v1]
2026年10月29日星期四 14:46:50 UTC（19,724 KB）
来源：arXiv cs.AI · arxiv.org