arXiv cs.AI· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Haoyu Huang, Sirui Zhang, Yuxuan Liu, Zhongwei Xie, Haoran Li·· 3 天前AI 评分22
RadixFlow：消除前缀缓存混合 LLM 服务中的执行气泡
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
AI 导读
RadixFlow 通过将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，解决混合 LLM 中消费者分支等待生产者循环状态导致的队头阻塞。在五个混合模型上，平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变。在更大的 Qwen3.5 模型上，消融显示大部分收益来自遍历，而该遍历在全注意力对照模型上增益很小。
正文 · AI 翻译
摘要：前缀复用通过共享公共提示前缀的 KV 缓存来提升 LLM 推理效率。只有当调度器能在当前 worker 轮次中执行匹配分支时，这才会带来收益。调度器假定匹配的前缀已就绪，这对全注意力成立，但对混合 LLM 不成立。在混合 LLM 中，一个分支（消费者）可能需要另一个分支（生产者）在同一轮次中仍在计算的循环状态。原生调度器在遇到这个被阻塞的消费者时会停止其等待队列扫描，由此产生的队头阻塞会造成 \emph{执行气泡}：本可被独立工作填充的空闲批次槽位。我们提出 RadixFlow，它将前缀匹配与状态就绪解耦。其状态就绪遍历将全局扫描屏障转变为局部等待：只有消费者被阻塞到下一轮，而可行的独立分支在原生状态检查下继续填充批次。在五个混合模型上，RadixFlow 将平均延迟降低 3\% 至 24\%，并将 worker 轮次减少 11\% 至 44\%，而复用率几乎不变。在更大的 Qwen3.5 模型上，消融实验表明大部分收益来自遍历，而在全注意力对照上其增益很小。更重的轮次限制了这种节省能在多大程度上转化为延迟降低。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18143 [cs.AI] |
| （或使用 arXiv:2610.18143v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.18143 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Huihao Jing [查看电子邮件]
[v1]
2026年10月13日星期二 10:49:05 UTC（161 KB）
来源：arXiv cs.AI · arxiv.org