新论文提出生成式推荐束搜索推理优化方法
热点事件持续更新
新论文提出生成式推荐束搜索推理优化方法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shing Wai Pun 等作者提交论文,针对生成式推荐推理中长输入、宽 beam、少量固定输出 token 的特点,提出用 Tree Attention 沿序列维度拼接 beam,以消除共享前缀上的冗余 KV 访问,并配合预生成部分注意力掩码、静态 KV cache 分配、循环展开生成调度、TorchAir 图编译、自动算子融合与词表约束解码。 作者称,在不使用自定义内核的情况下,该方法在昇腾 NPU 上相比 vLLM 将端到端延迟最多降低 25 倍,生成延迟与使用自定义内核的 SOTA 方案相当;据此作者认为,应先整体优化生成流程,再考虑开发自定义内核。
AI 根据报道生成 · 58 分钟前更新
最新进展11月20日 13:00
先优化整体流程再写内核:用 Tree Attention 优化生成式推荐推理的 Beam Search报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI先优化整体流程再写内核:用 Tree Attention 优化生成式推荐推理的 Beam Search
针对生成式推荐推理中长输入、宽 beam、少量固定输出 token 的特点,研究提出用 Tree Attention 沿序列维度拼接 beam 以消除共享前缀上的冗余 KV 访问,并配合预生成部分注意力掩码、静态 KV cache 分配、循环展开生成调度、TorchAir 图编译、自动算子融合与词表约束解码。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。