HyScale 长上下文训练系统发布
热点事件持续更新
HyScale 长上下文训练系统发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Yangsheng Deng 等作者发布论文，提出面向学习型稀疏注意力的长上下文训练系统 HyScale。该系统通过 HyTopK 与 selection replay 两项机制，消除完整分数表和重复选择带来的开销。 作者称，在 512 张 H20 GPU 上训练 GLM-5.1 的 1M token 序列时，HyScale 相比 Megatron-LM 加速 2.07 倍。这一加速数据来自论文自述，尚待独立验证。
AI 根据报道生成 · 54 分钟前更新
最新进展10月26日 12:00
HyScale：为学习型稀疏注意力扩展长上下文训练报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AIHyScale：为学习型稀疏注意力扩展长上下文训练
HyScale 是面向学习型稀疏注意力的长上下文训练系统，通过 HyTopK 与 selection replay 消除完整分数表和重复选择开销，在 512 张 H20 GPU 上将 GLM-5.1 的 1M token 序列训练加速 2.07 倍（对比 Megatron-LM）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。