arXiv cs.CL· Keqi Deng, Ruchao Fan, Jinyu Li·· 11 小时前AI 评分38
LazyFlash：前向稠密、反向稀疏的注意力机制加速长上下文微调
LazyFlash: Forward-Dense, Backward-Sparse Attention for Accelerated Long-Context Fine-Tuning
AI 导读
LazyFlash 提出一种前向稠密、反向稀疏的注意力训练方法，前向保持完全稠密以保证模型仍可被 vLLM 等现有系统直接部署，反向则按注意力输出梯度范数对 query 块排序并跳过贡献可忽略的块。
正文 · AI 翻译
摘要：随着大语言模型（LLM）处理越来越长的序列，注意力成为主要的计算瓶颈。稀疏注意力大多针对推理，但许多方法仍采用稠密训练或无法支持稀疏训练，且其增加的复杂度使稀疏性难以转化为实际加速，导致稠密注意力在实践中被广泛使用。本文提出 LazyFlash，一种前向稠密、后向稀疏的注意力方法，其依据是注意力训练主要由反向传播主导。LazyFlash 保持前向传播完全稠密，因此训练出的模型仍是标准稠密模型，现有系统如 vLLM 无需任何改动即可服务。对于反向传播，LazyFlash 提出一种梯度感知的块稀疏化设计，按注意力输出梯度范数对查询块排序，跳过对参数更新贡献可忽略的块，将稠密反向传播变为块稀疏反向传播。梯度质量预算根据每个注意力头和训练步自适应调整跳过的计算量，而重要性采样在期望上保持稠密梯度。这些设计在分块 FlashAttention 反向内核中实现，被跳过的块从不加载或计算，从而将梯度稀疏性转化为实际加速。在长上下文文本和语音 LLM 上的实验表明，LazyFlash 保持下游性能，同时相比 FlashAttention 实现最高 5.7 倍的注意力反向加速和 1.7 倍的端到端训练加速。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31911 [cs.CL] |
| （或 arXiv:2610.31911v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.31911 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Keqi Deng [查看邮箱]
[v1]
2026年10月22日 星期四 21:04:07 UTC（209 KB）
来源：arXiv cs.CL · arxiv.org