arXiv cs.AI· Hung-Chun Lin, Ting-Wei Hsu, Chung-En Ho, Ahmed Saeed·· 1 天前AI 评分27
ARK：为分离式 LLM 推理中的 KV Cache 传输规避路由冲突
ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference
AI 导读
ARK 是一种分布式大象流路径预留机制，通过协调发送方选择源端口，使并发流的哈希映射到不同 spine 链路，从而避免 ECMP 哈希冲突，且无需改动交换机或接收端重排数据包。在中等负载的包级 RDMA 模拟中，ARK 将平均和 P95 FCT 分别最多降低 27.3% 和 34.0%，平均 TTFT 最多降低 12.9%。该成果发表于 ACM SIGCOMM 2026。
正文 · AI 翻译
摘要：分离式 LLM 推理将预填充阶段和解码阶段分离到不同的 GPU 池中，从而产生海量的 KV-cache 传输。由于这些传输持续数百毫秒到数秒，它们表现为主导链路带宽利用率的超大象流。在这种情形下，无状态 ECMP 可能表现不佳：哈希冲突可能使一条 spine 链路过载，而其他链路却处于空闲状态，从而将传输时间拉长数秒。然而，正是这种持续性使协调变得可行。由于这些流是长寿命的，即使是轻量级的一对多协调，也能在其生命周期内被摊销。我们提出 ARK，一种分布式象流路径预留机制。ARK 协调发送方选择源端口，使并发流的哈希映射到不同的 spine 上，而无需更改交换机，也无需在接收端进行数据包重排序。数据包级 RDMA 仿真表明，在中等负载下，ARK 将平均 FCT 和 P95 FCT 分别最多降低 27.3% 和 34.0%，并进一步将平均 TTFT 最多降低 12.9%。
| 评论： | 7 页。发表于 ACM SIGCOMM 2026 会议论文集（SIGCOMM '26） |
| 主题： | 网络与互联网架构（cs.NI）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.41160 [cs.NI] |
| （或本版本的 arXiv:2610.41160v1 [cs.NI]） | |
| https://doi.org/10.48550/arXiv.2610.41160 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 载于 ACM SIGCOMM 2026 会议论文集（SIGCOMM '26），第 2067-2073 页，2026 年 |
| 相关 DOI： | https://doi.org/10.1145/3789240.3828750
链接到相关资源的 DOI |
提交历史
来自：Chung-En Ho [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 02:35:39 UTC（234 KB）
来源：arXiv cs.AI · arxiv.org