arXiv cs.CL· Susav Shrestha, Brad Settlemyer, Narasimha Reddy·· 10 小时前AI 评分35
Decode Token Parallelism（TKNP）：面向可扩展 LLM 解码的内存高效分布式注意力并行方案
Decode Token Parallelism: Memory-Efficient Distributed Attention Parallelism for Scalable LLM Decoding
AI 导读
研究者提出 Decode Token Parallelism（TKNP），一种将权重放置与注意力归属解耦的解码池架构，把单份模型按均衡层块分布到多节点，各节点用本地 KV cache 计算自身请求的注意力，仅当前 token 激活跨网络传输。
正文 · AI 翻译
摘要：在高并发、长上下文场景下服务大语言模型，需要 KV 缓存容量和注意力带宽随解码池规模增长。现有的并行化策略在这两者之间相互取舍：数据并行复制模型权重，限制了 KV 容量；张量并行在模型的 KV 头数量处停止对注意力的扩展，并将密集集合通信推向跨节点；解码上下文并行（DCP）通过分片序列来恢复容量，但增加了部分注意力结果的跨节点聚合。我们观察到，在解码过程中，密集层和注意力的扩展方式不同：密集层在整个批次上分摊权重读取，并在单个 NVLink 域内高效运行，而注意力成本随每个活跃请求的 KV 缓存增长。我们提出解码令牌并行（TKNP），一种将权重放置与注意力归属解耦的解码池架构。TKNP 将单个模型副本以均衡的层块分布到各节点。持有某个块的活跃节点使用节点内张量并行，为整个批次执行该块的投影和 MLP，而每个节点针对本地驻留的 KV 缓存为自己的请求计算注意力。这在不复制权重的情况下将请求本地注意力扩展到跨节点：只有当前令牌的激活值跨网络传输，密集 all-reduce 保持在 NVLink 内，注意力无需跨节点合并部分结果。TKNP 在 vLLM 中实现，并在最多 64 块 H100 GPU 上对 Llama 3.1 405B 和 Nemotron-4 340B 进行评估，在相同 GPU 数量下，将长上下文、高并发工作负载的完成吞吐量相比 DCP 提升最高 1.7$\times$，相比数据并行提升最高 2.06$\times$。
| 评论： | 14 页，12 幅图 |
| 主题： | 分布式、并行与集群计算（cs.DC）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13293 [cs.DC] |
| （或 arXiv:2611.13293v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13293 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Susav Shrestha [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 22:01:46 UTC（1,749 KB）
来源：arXiv cs.CL · arxiv.org