SlackTier 将 DeepSeek-V4.1 查找表下沉至 NVMe
热点事件持续更新
SlackTier 将 DeepSeek-V4.1 查找表下沉至 NVMe
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Wen Huang、Jack Liu 提交论文，提出 SlackTier 表分层方案：在 SGLang 中于每步开始发起全部查找，优先读取短窗口层，并按层切分 GPU 行缓存，以缓解 DeepSeek-V4.1 的 203 GB Engram n-gram 表占用主机 DRAM 的问题。 据论文，第 14 层表可无缓存放至 NVMe 且无可测解码开销；两张表放在四块 NVMe 磁盘上时，agent 与 chat 回放的平均每输出 token 时间较未修改 SGLang 最多上升 1.4%，主机内存从 212 GiB 降至 34 GiB。论文还称，两张表经 RDMA 从另一节点内存读取时无需缓存，一份副本可服务两个实例。
AI 根据报道生成 · 47 分钟前更新
最新进展11月11日 13:00
按每层预取截止时间放置 LLM 查找表：SlackTier 让 DeepSeek-V4.1 的 Engram 表降至 NVMe报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI按每层预取截止时间放置 LLM 查找表：SlackTier 让 DeepSeek-V4.1 的 Engram 表降至 NVMe
针对 DeepSeek-V4.1 的 203 GB Engram n-gram 表占用 4-GPU 服务进程 223 GiB 中 190 GiB 主机 DRAM 的问题，研究者提出 SlackTier——在 SGLang 中于每步开始发起全部查找、优先读取短窗口层并按层切分 GPU 行缓存的表分层方案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。