arXiv cs.CL· Dylan Johnston, Robert P. Smith·· 10 小时前AI 评分38
RidgeFill：免训练的上层缓存填充加速 prefill
RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill
AI 导读
RidgeFill 提出一种免训练方法加速 LLM 的 prefill：下层正常计算到切分层，由每层一个岭回归映射预测后续各层输入并直接写入缓存，无需训练、不丢弃任何 token。
正文 · AI 翻译
摘要：RidgeFill 通过不为提示计算模型大部分上层来缩短预填充。下层精确运行至一个分割点；从分割层的状态出发，逐层映射预测每个后续层的输入，每个后层根据该预测写入其缓存。该设计遵循 YOCO 和 DeepSeek-V4.1-Flash，其中投影被训练进模型。RidgeFill 将其改造到从未为此训练的模型上：该映射是一个岭回归，通过对校准文本的一次遍历以闭式解拟合一次，层自身的投影保持不变运行，并且选定的一组行、最后几千个 token 以及每个解码步骤都运行完整模型。没有训练任何东西，也没有丢弃任何 token。
大部分工作在于测量，寻找一种可重复的方法。对所有 token 平均的损失掩盖了 RidgeFill 的误差。填充区域中的针检索、依赖于远距离上下文的 token 上的损失，以及将填充的键或值替换为精确值的拼接测试，显示了哪个组件承载了它：Llama-3.1-8B 上的键，其中一半在其尺度上，以及 Qwen3.5-9B 上的值和循环状态。
在 A100 上的 此 http URL fork 中的 Qwen3.8-27B 上，当映射位于 VRAM 中时，在 16K 到 120K token 下，首个 token 的时间快 1.25 到 1.31 倍；RULER 变化 -1.2 和 -1.4 个百分点，LongBench v2 变化 -1.4；95% 区间包含零，但不能排除几个点的损失。在 vLLM 中的 Qwen3.8-Flash-Next 上，在 9K 到 32K token 下，它比精确方法快 1.50 到 1.60 倍，RULER 的针任务为 99.8 对 100.0，新 token 上的困惑度高 2.65% [-0.02%, +4.93%]。在三个 8 到 9B 参考模型上，在与恒等填充相同的分割和尾部下，拟合映射在两个密集模型上多检索到 49.1 和 49.6 个填充区域 RULER 点（在该分割下 Llama 的损失更差），其长文档损失与发布的 SwiftKV 检查点相差 +/-0.03 nats。
| 评论： | 50 页，15 张图，38 张表。代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09709 [cs.LG] |
| （或 arXiv:2611.09709v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09709 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.5281/zenodo.23890246
链接到相关资源的 DOI |
提交历史
来自：Dylan Johnston [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 16:52:41 UTC（473 KB）
来源：arXiv cs.CL · arxiv.org