跳到正文
arXiv cs.AI· Shing Wai Pun, Kai Wu, Pengfei Xia, Hui Zang, Wei Guo, Yong Liu·· 10 小时前AI 评分26

先优化整体流程再写内核:用 Tree Attention 优化生成式推荐推理的 Beam Search

Optimize the Cob, Then the Kernel: Optimizing Beam Search for Generative Recommendation Inference

AI 导读

针对生成式推荐推理中长输入、宽 beam、少量固定输出 token 的特点,研究提出用 Tree Attention 沿序列维度拼接 beam 以消除共享前缀上的冗余 KV 访问,并配合预生成部分注意力掩码、静态 KV cache 分配、循环展开生成调度、TorchAir 图编译、自动算子融合与词表约束解码。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式推荐(GR)推理与传统 LLM 服务存在显著差异,其特点是输入序列长、束搜索宽度大,且仅有少量固定输出 token。现有 vLLM 等 LLM 服务引擎将各束作为批处理的独立序列处理,导致对共享提示前缀的 KV 缓存访问冗余。此外,vLLM 将每个束搜索生成步骤作为单独的引擎调用执行,在解码步骤之间引入主机侧束处理开销,并在 PagedAttention 中产生大量运行时 KV 块管理开销。我们采用 Tree Attention,沿序列维度拼接各束以消除冗余 KV 访问,并通过预生成的部分注意力掩码、静态 KV 缓存分配、循环展开的生成调度、TorchAir 图编译、自动算子融合和词表约束解码进一步优化执行。在不使用自定义内核的情况下,我们的方法在昇腾 NPU 上将端到端延迟较 vLLM 降低最多 25 倍,并达到与使用自定义内核的 SOTA 方案相当的生成延迟,表明在诉诸自定义内核开发之前,应对生成流水线进行整体优化。
评论: 8 页,4 幅图
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.23339 [cs.LG]
  (或 arXiv:2611.23339v1 [cs.LG] 查看此版本)
  https://doi.org/10.48550/arXiv.2611.23339

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Shing Wai Pun [查看邮箱]
[v1] 2026年11月17日星期二 07:14:52 UTC(498 KB)

来源:arXiv cs.AI · arxiv.org