按每层预取截止时间放置 LLM 查找表：SlackTier 让 DeepSeek-V4.1 的 Engram 表降至 NVMe

查看 PDF HTML（实验性）

摘要：DeepSeek-V4.1 的 203 GB Engram n-gram 表目前存放在主机 DRAM 中，占用了 4-GPU 服务进程所用 223 GiB 中的 190 GiB。行索引仅取决于输入 token，因此读取可以在每一步开始时启动，并与更早的层重叠。V4.1 的两个 Engram 层的窗口相差 30 倍（0.3 与 9.3 ms）。我们表明，这一截止时间，连同会话复用和共享设备上的争用，决定了每张表可以使用哪一层级，以及哪些层需要缓存，并且我们给出了一个模型，可根据实测读取时间预测由此产生的减速。Agent 和聊天流量会在会话内复用行，而静态热集迁移效果很差。我们构建了 SlackTier，这是 SGLang 的一个表层级，在步骤开始时发出所有查找。它先读取短窗口层，并将一个小的 GPU 行缓存拆分到各层。该路径运行在解码 CUDA 图内，并与原始 gather 位精确一致。第 14 层的表可以无缓存地放到 NVMe 上，且解码成本无可测量的增加。当两张表都放在四个 NVMe 磁盘上时，在 agent 和聊天回放中，每个输出 token 的平均时间相比未修改的 SGLang 最多增加 1.4%，主机内存从 212 GiB 降至 34 GiB。当通过 RDMA（远程直接内存访问）从另一节点的内存读取时，两张表都不需要缓存；一份副本可服务两个实例。在 KV 受限的 agent 工作负载上，在相同内存预算下将释放的内存用作主机 KV 缓存，可将中位吞吐量提高 36%，并将中位 p90 首 token 时间从 38 秒降至 24 秒。

评论：	15 页，5 幅图，10 张表
主题：	分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2611.13413 [cs.DC]
	（或 arXiv:2611.13413v1 [cs.DC] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.13413 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Wen Huang [查看电子邮件]
[v1] 2026 年 11 月 10 日星期二 00:47:42 UTC（137 KB）