arXiv cs.AI· Ruoyu Qin, Zheming Li, Weiran He, Mingxing Zhang, Yongwei Wu, Weimin Zheng, Xinran Xu·· 9 天前AI 评分40
Mooncake：面向 LLM 服务的以 KVCache 为中心的分离式架构
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
AI 导读
Moonshot AI 为 Kimi 打造的 Mooncake 服务架构，将预填充与解码集群分离，并利用 GPU 集群闲置的 CPU、DRAM 和 SSD 构建分离式 KVCache 缓存，核心是以 KVCache 为中心的调度器，在满足延迟 SLO 的同时最大化有效吞吐。
正文 · AI 翻译
摘要：Mooncake 是 Kimi 的服务平台，Kimi 是 Moonshot AI 提供的一项领先的 LLM 服务。它采用以 KVCache 为中心的分离式架构，将预填充集群和解码集群分离。它还利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源，实现 KVCache 的分离式缓存。Mooncake 的核心是以 KVCache 为中心的调度器，它在最大化整体有效吞吐量与满足延迟相关的服务等级目标（SLO）之间进行平衡。与假设所有请求都会被处理的传统研究不同，Mooncake 因高度过载的场景而面临挑战。为缓解这些问题，我们开发了一种基于预测的早期拒绝策略。实验表明，Mooncake 在长上下文场景中表现出色。与基线方法相比，在某些模拟场景中，Mooncake 在遵守 SLO 的同时可将吞吐量提升高达 525%。在实际工作负载下，Mooncake 的创新架构使 Kimi 能够多处理 75% 的请求。
| 评论： | 23 页，13 张图 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；硬件架构（cs.AR） |
| 引用为： | arXiv:2407.00079 [cs.DC] |
| （或使用 arXiv:2407.00079v5 [cs.DC] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2407.00079 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruoyu Qin [查看邮箱]
[v1]
2024 年 6 月 24 日星期一 02:05:32 UTC（264 KB）
[v2]
2024 年 7 月 2 日星期二 02:49:35 UTC（264 KB）
[v3]
2024 年 7 月 9 日星期二 04:03:10 UTC（280 KB）
[v4]
2025 年 9 月 3 日星期三 14:56:29 UTC（245 KB）
[v5]
2026 年 10 月 8 日星期四 10:55:46 UTC（238 KB）
来源：arXiv cs.AI · arxiv.org