arXiv cs.AI· Shivam Patel, Akaash R. Parthasarathy, Akash Dhasade, Ankur Mallick, Gauri Joshi·· 2 天前AI 评分22
Mind the Delay：面向异构 LLM 池的延迟感知查询路由
Mind the Delay: Latency-aware Query Routing for Heterogeneous LLM pools
AI 导读
研究者提出 Batch Evolution Aware（BEA）估计器，通过重放服务框架的 token-batch 形成过程预测首 token 延迟（TTFT），误差约 5%，单次预测耗时约 0.1 ms。基于 BEA 的延迟感知路由器 BEAR 同时平衡准确率、成本与延迟，在七项基线对比中，目标内响应效用平均提升 63%，较最佳基线提升 30.5%。
正文 · AI 翻译
摘要：大语言模型（LLM）查询路由器通常将每个查询分配给一个合适的模型，以平衡响应准确性和金钱成本。随后，基于最短队列或轮询等策略的独立系统级负载均衡器将查询分发到每个模型的各个副本上，以降低延迟。然而，将准确性-成本与延迟考量解耦可能导致次优的路由决策。我们引入批处理演化感知（BEA）估计器，对延迟进行细粒度估计，即到达查询所经历的首次令牌时间（TTFT）。与依赖队列长度、每模型处理速率或历史平均延迟等粗粒度信号的现有负载均衡器不同，BEA 使用实例当前工作负载的快照重放服务框架的令牌批处理形成过程，在传入查询的首个令牌生成时停止。考虑到语言查询预填充和解码阶段的计算与内存需求，以及同一批次中服务的多个查询之间的争用，BEA 预测 TTFT 的误差约为 5%。每次预测耗时约 0.1 毫秒，足够快，可在关键路由路径上运行。我们还为有限处理器共享方案下的模型实例设计了一个分析框架，以闭式形式计算预期 TTFT，并捕捉延迟随负载增加的定性趋势。BEA 产生的 TTFT 估计随后用于我们的延迟感知路由器 BEAR，它同时平衡准确性、成本和延迟，从异构 LLM 池中选择最佳模型实例。与七个基线相比，BEAR 在现有延迟感知路由器的基础上，将目标内交付响应的效用平均提高了 63%，在每个到达率下比最佳基线提高了 30.5%。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.18253 [cs.AI] |
| （或 arXiv:2607.18253v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.18253 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shivam Patel [查看电子邮件]
[v1]
2026年5月13日星期三 20:29:09 UTC（1,247 KB）
[v2]
2026年10月15日星期四 02:47:09 UTC（1,548 KB）
来源：arXiv cs.AI · arxiv.org