TreeWY 为门控 DeltaNet 混合模型提供推测验证

Sneha Murthy Ghantasala 提交论文，提出 TreeWY 推测验证方法，用于 Gated DeltaNet 混合模型的投机解码。该方法用树结构 WY 变换替代 GDN 层逐草稿位置的循环状态快照：只需一次三角求解即可算出所有草稿节点的输出，提交时仅重建被接受的那一个状态，并存储一个小型伪值矩阵而非逐节点状态。 在 Qwen3.5 35B 和 397B 上的服务基准显示，该方法在接受长度基本不变的情况下降低了投机解码的循环状态内存与 KV-cache 压力，把释放的 HBM 转化为更高吞吐和更低 TTFT。更宽的草稿树因此变得可行，但尚未带来吞吐收益。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。