arXiv cs.CL· Sneha Murthy Ghantasala·· 11 小时前AI 评分36
TreeWY：为 Gated DeltaNet 混合模型提供投机解码验证
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
AI 导读
TreeWY 用树结构 WY 变换替代 GDN 层逐草稿位置的循环状态快照，只需一次三角求解算出所有草稿节点输出，提交时仅重建被接受的那一个状态。在 Qwen3.5 35B 和 397B 上的服务基准显示，该方法在接受长度基本不变的情况下降低了投机解码的循环状态内存与 KV-cache 压力，把释放的 HBM 转化为更高吞吐和更低 TTFT。更宽的草稿树因此变得可行，但尚未带来吞吐收益。
正文 · AI 翻译
摘要：现代开放模型是混合式的：大多数层是线性注意力（Gated DeltaNet，GDN）层，携带一个小的固定大小循环状态，而不是不断增长的键值（KV）缓存。这使得普通解码在内存上高效，但会损害投机解码。为了验证一批草稿 token 并回滚被拒绝的 token，当今系统会在每个草稿位置为 GDN 层快照完整的循环状态，而这些快照无法在草稿树的分支之间共享，因此一个宽而高接受率的树在内存上变得不可行。我们移除了这些快照。利用门控 delta 规则的树结构 WY 变换，我们通过一次三角求解计算每个草稿节点的输出，并在提交时仅重建一个被接受的状态，存储一个小型伪值矩阵而不是逐节点状态；该推导仅依赖于门控 delta 规则，不依赖于任何其他架构细节。在一个混合模型家族的两个规模（Qwen3.5 35B 和 397B）上的服务基准测试中，这在基本相同的接受长度下削减了投机循环状态内存和 KV 缓存压力，将释放的 HBM 转化为更高的吞吐量和在内存成为瓶颈时大幅降低的首 token 时间（TTFT），而在内存不成为瓶颈时仅损失几个百分点。对于树宽，同样的内存带来了可负担性：更宽、接受率更高的草稿成为可能，尽管尚未成为吞吐量上的胜利。
| 评论： | 10 页，3 张图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2608.20961 [cs.AI] |
| （或此版本的 arXiv:2608.20961v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.20961 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sneha Murthy Ghantasala [查看电子邮件]
[v1]
2026 年 8 月 21 日星期五 10:31:15 UTC（65 KB）
[v2]
2026 年 10 月 22 日星期四 18:32:01 UTC（57 KB）
来源：arXiv cs.CL · arxiv.org