arXiv cs.AI· Zekun Zhao, Jeffrey Flanigan·· 1 天前AI 评分38
Read Once, Answer Many：Parallel Prompting 加速共享上下文 LLM 推理
Read Once, Answer Many: Parallel Prompting for Shared-Context LLM Inference
AI 导读
研究者提出 Parallel Prompting，将同一长文档上的 P 个问题作为单次请求的 P 条独立流一次性解码，每步只读取一次共享文档的 KV cache，并用在 attention kernel 内计算的 stream-id attention mask 保证各答案只依赖文档与自身问题。
正文 · AI 翻译
摘要：LLM 工作负载有时会针对同一篇长文档提出许多独立问题，例如文档问答、数据标注和基于 LLM 的评估。前缀缓存消除了这些查询共享的冗余预填充，但每个解码步骤仍会针对每个问题读取一次文档的键值（KV）缓存，因此解码受内存带宽限制，并随问题数量而扩展。我们提出 Parallel Prompting，它将 P 个问题作为单个请求的 P 个独立流一次性解码，从而解决该问题。在我们的方法中，每一步都会为所有 P 个流读取一次共享文档，并且在注意力内核内部计算的流 ID 注意力掩码确保每个答案仅以文档及其自身问题为条件。我们在 SGLang 中实现了 Parallel Prompting，只需在三个现有文件中添加约 80 行代码以及一个小型引擎包；该掩码不需要稠密张量，并且每个解码步骤都具有固定形状，可被捕获为 CUDA 图。在 CodeLlama-7B、8k-16k token 文档以及每篇文档 64-256 个问题的设置下，Parallel Prompting 在 A100 上比使用 FlashInfer 后端的原版 SGLang 快 3.7 倍，在 RTX A6000 上快 5.9-6.0 倍，覆盖两个 SGLang 版本，包括最新版本。在相同输入上计时，它在全部 144 次运行中均快于原版 SGLang（2 个 GPU × 2 个版本 × 6 个工作负载 × 6 个输入集）。代码：此 https URL
| 评论： | 17 页，6 幅图。代码：此 https URL。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.15130 [cs.CL] |
| （或 arXiv:2611.15130v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15130 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zekun Zhao [查看电子邮件]
[v1]
2026 年 11 月 11 日星期三 07:15:18 UTC（343 KB）
来源：arXiv cs.AI · arxiv.org