LazyFlash：前向稠密、反向稀疏的注意力训练方法

Keqi Deng、Ruchao Fan、Jinyu Li 发表论文提出 LazyFlash，一种前向稠密、反向稀疏的注意力训练方法。其前向计算保持完全稠密，使训练后的模型仍可直接部署在 vLLM 等现有系统上；反向传播则按注意力输出梯度范数对 query 块排序，跳过贡献可忽略的块，以减少反向计算量。 作者称，这一设计基于注意力训练耗时主要由反向传播主导的观察，目标是加速长上下文微调。论文未在摘要中给出具体加速幅度或精度损失数据。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。