arXiv cs.CL· Xiaohan Qin, Xiangdong Zhang, Yu Wang, Huaijin Wu, Zhuo Xia, Yebin Yang, Junchi Yan·· 10 小时前AI 评分34
DepthGraft：通过分层跨层 KV 重建实现结构正则化
DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction
AI 导读
DepthGraft 是一种分层 KV 共享架构，从步幅对齐的浅层-中层源对重建深层 KV，在保持 prefill 提前完成的同时将 KV cache 减少约三分之一。在 0.5B 至 16B 参数的稠密与 MoE 模型上，GQA 和 MLA 下均取得一致的下游提升；16B MoE 模型上 MMLU-Pro 绝对提升 7.0%，CMMLU 提升 6.6%，C3 提升 6.4%。
正文 · AI 翻译
摘要：扩展深度是构建更强大型语言模型的关键途径，但 Pre-LN 架构常遭受深度方向的信息稀释，限制了深层网络的有效利用。虽然跨层连接已被证明能有效缓解这一问题，但现有设计通常会引入额外的计算或内存访问。我们重新审视跨层 KV 共享，将其视为此类连接的一种高效形式。除缓存压缩之外，每条 KV 复用边都创建了从深层到源 KV 投影的直接梯度路径，使 KV 共享成为 KV 表示几何的隐式结构正则化器。我们对该机制进行了系统分析，表明恰当的共享拓扑能锐化键检索方向，同时丰富值内容子空间，而现有的相邻或全局锚点设计并未充分利用这一效应。受此启发，我们提出 DepthGraft，一种分层 KV 共享架构，从步长对齐的浅层-中层源对重建深层 KV。DepthGraft 在源层之间分配非局部梯度流，同时保留预填充的提前完成，并将 KV 缓存减少约三分之一。在 0.5B 至 16B 参数的稠密模型和 MoE 模型上的实验表明，在 GQA 和 MLA 下均取得一致的下游改进。值得注意的是，在 16B MoE 模型上，DepthGraft 在 MMLU-Pro 上实现了 7.0% 的绝对提升，同时在 CMMLU 上提升 6.6%，在 C3 上提升 6.4%。这些结果验证了 DepthGraft 作为大规模预训练可扩展设计的潜力。项目页面见 此 https URL。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.03142 [cs.CL] |
| （或 arXiv:2611.03142v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03142 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaohan Qin [查看邮箱]
[v1]
2026年11月2日星期一 13:52:03 UTC（9,235 KB）
来源：arXiv cs.CL · arxiv.org