arXiv cs.AI· Xiuyuan Qi, Pedro Reviriego, Javier Conde, Shanshan Liu·· 11 小时前AI 评分38
BlockLock：用固定批处理几何实现可复现的 LLM 推理
BlockLock: Reproducible LLM Inference with Fixed Batch Geometry
AI 导读
BlockLock 提出一种可复现 LLM 推理方法，只固定受保护请求所见的批处理几何，同时保留共享的批量 prefill。
正文 · AI 翻译
摘要：可复现的 LLM 推理要求：无论批次中的其他请求如何，一个请求都应产生相同的输出。现有解决方案以不同方式为此付出代价：批次不变内核会约束每个算子，而用固定形状解码隔离预填充（{我们的 CoRun 风格基线}）则放弃了共享预填充计算并对解码进行填充。我们提出 BlockLock，它保留共享的批处理预填充，仅固定受保护请求的数值路径：它固定该请求所见的几何结构，{有两种模式：BlockLock-Rows 使用固定宽度行，并保留所有请求的批处理解码；BlockLock-Pack 使用带隔离虚拟段的终端锚定打包，然后提取受保护请求的 KV 状态以进行仅目标解码。在既定的每部署契约下，当伴随请求发生变化时，两种模式都能按位保持目标的输出。} 在五个 {dense} 模型（Qwen3-8B/14B、Llama-3.1-8B-Instruct 和 Gemma-3-4B/12B-IT）和三种单 GPU 部署（NVIDIA A6000、A100 和 H100）上，我们在 tinyBenchmarks 和 BFCL 上评估了我们的方法{；我们还包括在两块 NVIDIA A6000 GPU 上的初始张量并行实验。在报告的测试中，两种模式都保留了目标序列和 Top20-logit 位。} 在交付工作量相等的情况下，{BlockLock-Rows} 相对于 vLLM Batch-Invariant 将延迟降低 53.5--55.0\%，并将吞吐量提高 115.2--122.2\%；与批次不变内核相比，它不需要自定义内核实现，并且仅约束受保护的请求。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06977 [cs.AI] |
| （或此版本的 arXiv:2611.06977v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06977 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiuyuan Qi [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 13:40:05 UTC（2,005 KB）
来源：arXiv cs.AI · arxiv.org