Windowed-MTP：草稿模型加窗口降低长上下文开销

Alagappan Valliappan 提出并评估了 Windowed-MTP：只对草稿模型施加 StreamingLLM 式窗口加注意力汇，目标模型仍做全上下文验证，因此目标分布得以保留。该方法无需训练、可直接替换。 在 SGLang 中、单 GPU、100 万 Token 上下文条件下，对 Gated DeltaNet 和 Mamba2 两个混合家族的三款模型，相比原生 MTP 取得 1.28–1.44 倍的单步解码加速，且不依赖额外接受率。 作者称 v2 中窗口化草稿注意力已合入 SGLang 上游（PR #32673）。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。