arXiv cs.CL· Debopam Sanyal, Hongjie Chen, Riya Elizabeth Kuriyan, Arth Tak, Divya Kothandaraman, Akshay Mehra, Joshua Kimball, Alexey Tumanov·· 14 小时前AI 评分31
SVD-Attention：高效分析 Transformer 中的注意力模块
SVD-Attention: Efficiently Analyzing Attention Blocks in Transformers
AI 导读
SVD-Attention 是一种免微调的事后分析方法，通过分解每个注意力头的交互矩阵并按谱幅度与 token 激活方差对奇异模式打分，判断哪些头真正用满秩预算。
正文 · AI 翻译
摘要：预训练 transformer 的推理计算中有很大一部分花在自注意力内部，然而每个头的 query-key 交互在结构上本就是低秩的。我们提出一个诊断性问题：跨层与跨架构，哪些头在真实数据上真正用满了秩预算，哪些没有？我们提出 SVD-Attention，一种事后方法，它分解每个头的交互矩阵 $M_h$，并在一个小校准集上按每个奇异模式的谱幅度及其跨 token 的激活方差为其打分。该分数保留头能够放大且真实数据确实激活的模式，丢弃其余模式；所得分解对保留的模式是精确的，且无需微调。在七个预训练模型和五类任务上，该诊断发现了一种依赖任务的模式：对于情感分类、图像分类和生成，冗余位于早至中间层；对于稠密预测和抽取式问答，冗余位于后层。它还具有预测性：截断它标记的层最多损失 $1.75$ F1，而在同一模型其他位置截断相同数量的层最多损失 $50$ F1。SVD-Attention 是一种分析工具而非压缩方法：单独使用它可将推理 FLOPs 降低 $0.8$-$1.5\%$，与权重剪枝组合使用时降低 $8$-$11\%$，任务质量变化为 $0$-$4\%$。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.34971 [cs.CL] |
| （或 arXiv:2610.34971v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34971 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Debopam Sanyal [查看邮箱]
[v1]
2026年10月26日 星期一 07:40:43 UTC（105 KB）
来源：arXiv cs.CL · arxiv.org