arXiv cs.AI· Kwan Yan, Jialun Zhong, Yanzeng Li·· 1 天前AI 评分31
LEAP：具备可泛化长度预测的高效 LLM 推理调度系统
LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction
AI 导读
LEAP 是一个支持快速在线适配、在 CPU 上异步执行的长度预测系统，通过复用服务模型的 prefill 隐藏状态并用线性读出提取输出长度信号。在较大领域偏移下，其在线适配将 Spearman 相关系数提升 64.7%；服务实验中相比所评估的长度预测器降低 15.9–40.8% 的平均每 token 延迟，吞吐量高 1.9%，预测器参数量比最强基线少 30,569 倍。
正文 · AI 翻译
摘要：长度感知调度通过优先处理较短的请求来降低 LLM 服务中的请求延迟。然而，尽管长度预测器模型规模很大，但在领域和任务发生偏移时，其排序性能可能会下降，而对其进行适配可能需要代价高昂的重新训练。其预测开销还可能进一步抵消调度带来的收益。为了提高长度感知调度的泛化性和效率，我们提出 \textbf{LEAP}，一个具有快速在线适配和异步 CPU 执行的长度预测系统。LEAP 复用服务模型的预填充隐藏状态，其中包含有关输出长度的信息，并通过线性读出提取该信号。为了适应显著的领域和任务偏移，它在测试时通过递归最小二乘法更新读出，使用已完成的请求作为监督，无需梯度计算或历史数据回放。预测和更新在 CPU 上异步运行，而预测和初始批次排序与剩余的 GPU 预填充重叠。在评估的跨域迁移中，LEAP 保持了较强的排序性能，在线适配在较大领域偏移下将 Spearman 相关性提高了 64.7\%。服务实验表明，与所评估的长度预测器相比，LEAP 将平均每 token 延迟降低了 15.9--40.8\%，同时与所评估的最强基线相比，以 $30{,}569\times$ 更少的预测器参数实现了 1.9\% 更高的吞吐量。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41359 [cs.AI] |
| （或 arXiv:2610.41359v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41359 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kwan Yan [查看电子邮件]
[v1]
2026年10月30日星期五 07:23:27 UTC（300 KB）
来源：arXiv cs.AI · arxiv.org