arXiv cs.AI· Yangsheng Deng, Xinjing Huang, Yulong Wang, Yunzhuo Liu, Jun Hu, Shuyong Tang, Junchi Zeng, Mingji Han, Ray Ying, Key Zhang, Luo Mai·· 11 小时前AI 评分34
HyScale：为学习型稀疏注意力扩展长上下文训练
HyScale: Scaling Long-Context Training for Learned Sparse Attention
AI 导读
HyScale 是面向学习型稀疏注意力的长上下文训练系统，通过 HyTopK 与 selection replay 消除完整分数表和重复选择开销，在 512 张 H20 GPU 上将 GLM-5.1 的 1M token 序列训练加速 2.07 倍（对比 Megatron-LM）。
正文 · AI 翻译
作者：Yangsheng Deng、Xinjing Huang、Yulong Wang、Yunzhuo Liu、Jun Hu、Shuyong Tang、Junchi Zeng、Mingji Han、Ray Ying、Key Zhang、Luo Mai
摘要：我们提出 HyScale，一个面向学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种面向百万 token 上下文的有前景架构，自 DeepSeek-V3.2 起已在生产环境中广泛采用。然而，选择过程逐渐成为训练瓶颈。对于每个查询，它要对所有先前 token 打分，而稀疏注意力只读取 $k$ 个；更糟的是，现有系统会物化完整的分数表，并在重计算期间重复选择。我们的关键洞见是：选择的输出不是激活值，而是一组索引。基于此，HyScale 引入了 HyTopK 和选择重放。HyTopK 无需分数表即可即时求出每个查询的精确 top-$k$，而选择重放则在重计算中复用前向传播的选择结果。结合应对端到端训练挑战的整体系统优化，HyScale 在 512 块 H20 GPU 上将 GLM-5.1 在 1M token 序列上的训练速度提升至 Megatron-LM 的 2.07$\times$。在 32 块 H800 GPU 上、1M token 时，它还将 DeepSeek-V4-Flash 的 CSA 层和 Qwen3.8-Flash-Next 的 QSA 层分别加速 2.01$\times$ 和 1.57$\times$。
| 学科： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.32057 [cs.AI] |
| （或本版本的 arXiv:2610.32057v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.32057 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yangshen Deng [查看邮箱]
[v1]
2026年10月23日星期五 01:54:02 UTC（735 KB）
来源：arXiv cs.AI · arxiv.org