arXiv cs.AI· Vedant Jhaveri, Arashpreet Singh Mor, Satyam Kumar, Alex Tsun, Qing Lan, Shaunak Mishra, Sriram Vasudevan·· 4 小时前AI 评分22
Trie-Head:用模型原生 Trie 解码与共享上下文注意力实现高效宽束生成式检索
Efficient Wide-Beam Generative Retrieval with Model-Native Trie Decoding and Shared-Context Attention
AI 导读
Trie-Head 将标识符 Trie 以经过验证的 GPU 张量形式存储,作为模型原生输出接口,替代 Python 自定义 logit 处理器(CLP),减少 CPU-GPU 协调与内存流量。
正文 · AI 翻译
摘要:生成式检索(GR)将目录条目预测为短语义标识符(SID)。Trie 约束的束搜索可保持这些标识符有效,但宽束会带来两项服务开销:大部分被丢弃的词表级分数张量,以及对同一提示的重复注意力计算。我们提出 Trie-Head,一种模型原生的输出接口,将标识符 trie 存储为经过验证的 GPU 张量。与 Python 自定义 logit 处理器(CLP)相比,它通过避免 Python 约束回调和词表级候选缓冲区,减少了 CPU–GPU 协调和内存流量。它对紧凑的码本候选进行打分,并流式处理全词表归一化器,在实数运算中保留原始模型的有效 token 分数,无需重新训练。共享上下文注意力通过在各束之间复用提示键/值块,同时保留其各自的解码尾部,来补充这条输出路径。我们在 SGLang 中实现了这两种机制,并评估了 LinkedIn Hiring Assistant 的候选来源和 Qualification Retrieval Platform 的资格检索。在 Qualification Retrieval Platform 工作负载上,当束宽为 200 时,该组合系统相比 CLP 基线将闭环吞吐量提升最高 5.57 倍,相比 BF16 FlashRec 提升最高 2.63 倍。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22309 [cs.AI] |
| (或 arXiv:2611.22309v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22309 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Shaunak Mishra [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 07:07:00 UTC(2,354 KB)
来源:arXiv cs.AI · arxiv.org