arXiv cs.AI· Weiqi Sun, Qianyue Wu, Wenjia Wang, Tianyang Hu·· 6 天前AI 评分20
OAL：面向离群维度的分组二次核注意力线性化方法
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
AI 导读
研究者提出 Outlier-Aware Attention Linearization（OAL），一种维度感知的二次注意力近似方法，通过分组共享系数并单独处理少数离群维度，在固定头维度下实现相对序列长度的线性时间评估。
正文 · AI 翻译
摘要：线性化 softmax 注意力为高效 Transformer 推理提供了一条途径，但保留预训练注意力仍然具有挑战性。我们识别出标准线性化方法所忽视的一个重要近似误差来源：少数离群维度对查询-键点积的贡献不成比例，并占据了近似误差的很大一部分。受这种异质性的启发，我们提出了离群感知注意力线性化（OAL），一种用于构建二次注意力近似的维度感知方法。从二阶泰勒近似出发，我们引入了一种 Hadamard 积公式，使各个查询-键的贡献显式化。该公式将全局共享系数放宽，以支持维度特定的线性项和跨维度二次交互，同时保持可分离求值。为了以更少的参数保留这种灵活性，OAL 将贡献尺度相似的维度分组以共享系数，同时允许对少数离群维度进行单独处理。所得的正二次核根据预训练注意力输出进行校准，并且对于固定的头维度，允许关于序列长度的线性时间求值。在 Qwen2.5-0.5B 上，与 DiJiang 相比，OAL 将冻结注意力输出的相对 MSE 降低了约 8.9%。替换中间层注意力模块并使用 LoRA 联合微调核系数，与学习到的全局二次核相比，进一步将 WikiText-103 困惑度从 31.71 降至 27.50，同时提高了 PIQA、HellaSwag 和 ARC-E 上的准确率。这些结果证明了离群感知维度分组在注意力近似和预训练模型转换中的价值。代码可在 此 https URL 获取
| 学科： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13674 [stat.ML] |
| （或 arXiv:2610.13674v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13674 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tianyang Hu [查看电子邮件]
[v1]
2026年10月9日星期五 14:40:19 UTC（680 KB）
来源：arXiv cs.AI · arxiv.org